Apache Hive

Apache Hive byl nejprve vyvinut jako Apache Hadoop sub-projektu za poskytnutí administrátorům Hadoop s snadné použití, dovedný dotazovací jazyk pro jejich data.
Protože toto, Hive byl vyvinut od začátku pro práci s obrovským množstvím informací pro každý dotaz a je dokonale přizpůsoben u rozsáhlých databází a podnikových prostředích.
Nástroje jsou zahrnuty pro snadné vkládání, extrakce a transformace dat, zatímco vlastní datové struktury mohou být nuceni na široké škále datových formátů.
Vzhledem k tomu, že je to Hadoop související Projekt HDFS a HBase projekty jsou také automaticky podporovány.
HiveQL je pravděpodobně nejlepší část projektu, poskytuje jednoduchý, inovativní a efektivní dotazovací jazyk, a zároveň je schopen zvládnout mapovače a redukce v situacích, kdy je nativní syntaxe SQL nemůže získat požadované údaje.

Co je nového v této verzi:

• Podpora nekorelované poddotazy v klauzuli WHERE
• Přidat NULL definována jako veslovat specifikace formátu
• Ccreate / pokles databáze by měla naplnit vstupy / výstupy a zkontrolujte souběžnost a oprávnění uživatele
• Podpora upřesní rozsah a přesnost s typem Hive desetinnou
• Budiž Tez
• explodovat funkce, která obsahuje pozici položky v poli
• Přidat char datový typ
• Vytvořit sbírat UDF a aby hodnotitel znovu použitelný
• Rozšířit záznam spisovatel a ORC čtení / zápis rozhraní poskytovat statistické údaje
• Implementace statistika poskytující ORC spisovatele a čtenáře rozhraní
• Annotate úl obsluhy strom se statistikami z metastore
• Poskytovat statistiky sloupce na úrovni proužek v ORC
• Poddotaz podpora: zakázat hnízdění poddotazů
• Poddotaz podpora: umožnit poddotazem výrazy doložkou
• Poddotaz podpory: více zkoušek
• Native Parkety Podpora v Úlu
• Hive by měli být schopni přeskočit záhlaví a zápatí řádky při čtení datového souboru pro tabulku
• Přidat datum, TIMESTAMP, desítkové, CHAR, typy VARCHAR podporovat HCat
• Použít mapu-spojit náznak do mezipaměti průběžný výsledek
• Přidat UDF pro výpočet vzdálenosti mezi zeměpisnými souřadnicemi

Co je nového ve verzi 1.2.0:

• Podpora nekorelované poddotazy v klauzuli WHERE
• Přidat NULL definována jako veslovat specifikace formátu
• Ccreate / pokles databáze by měla naplnit vstupy / výstupy a zkontrolujte souběžnost a oprávnění uživatele
• Podpora upřesní rozsah a přesnost s typem Hive desetinnou
• Budiž Tez
• explodovat funkce, která obsahuje pozici položky v poli
• Přidat char datový typ
• Vytvořit sbírat UDF a aby hodnotitel znovu použitelný
• Rozšířit záznam spisovatel a ORC čtení / zápis rozhraní poskytovat statistické údaje
• Implementace statistika poskytující ORC spisovatele a čtenáře rozhraní
• Annotate úl obsluhy strom se statistikami z metastore
• Poskytovat statistiky sloupce na úrovni proužek v ORC
• Poddotaz podpora: zakázat hnízdění poddotazů
• Poddotaz podpora: umožnit poddotazem výrazy doložkou
• Poddotaz podpory: více zkoušek
• Native Parkety Podpora v Úlu
• Hive by měli být schopni přeskočit záhlaví a zápatí řádky při čtení datového souboru pro tabulku
• Přidat datum, TIMESTAMP, desítkové, CHAR, typy VARCHAR podporovat HCat
• Použít mapu-spojit náznak do mezipaměti průběžný výsledek
• Přidat UDF pro výpočet vzdálenosti mezi zeměpisnými souřadnicemi

Co je nového ve verzi 1.1.0:

• Podpora nekorelované poddotazy v klauzuli WHERE
• Přidat NULL definována jako veslovat specifikace formátu
• Ccreate / pokles databáze by měla naplnit vstupy / výstupy a zkontrolujte souběžnost a oprávnění uživatele
• Podpora upřesní rozsah a přesnost s typem Hive desetinnou
• Budiž Tez
• explodovat funkce, která obsahuje pozici položky v poli
• Přidat char datový typ
• Vytvořit sbírat UDF a aby hodnotitel znovu použitelný
• Rozšířit záznam spisovatel a ORC čtení / zápis rozhraní poskytovat statistické údaje
• Implementace statistika poskytující ORC spisovatele a čtenáře rozhraní
• Annotate úl obsluhy strom se statistikami z metastore
• Poskytovat statistiky sloupce na úrovni proužek v ORC
• Poddotaz podpora: zakázat hnízdění poddotazů
• Poddotaz podpora: umožnit poddotazem výrazy doložkou
• Poddotaz podpory: více zkoušek
• Native Parkety Podpora v Úlu
• Hive by měli být schopni přeskočit záhlaví a zápatí řádky při čtení datového souboru pro tabulku
• Přidat datum, TIMESTAMP, desítkové, CHAR, typy VARCHAR podporovat HCat
• Použít mapu-spojit náznak do mezipaměti průběžný výsledek
• Přidat UDF pro výpočet vzdálenosti mezi zeměpisnými souřadnicemi

Co je nového ve verzi 1.0.0:

• Podpora nekorelované poddotazy v klauzuli WHERE
• Přidat NULL definována jako veslovat specifikace formátu
• Ccreate / pokles databáze by měla naplnit vstupy / výstupy a zkontrolujte souběžnost a oprávnění uživatele
• Podpora upřesní rozsah a přesnost s typem Hive desetinnou
• Budiž Tez
• explodovat funkce, která obsahuje pozici položky v poli
• Přidat char datový typ
• Vytvořit sbírat UDF a aby hodnotitel znovu použitelný
• Rozšířit záznam spisovatel a ORC čtení / zápis rozhraní poskytovat statistické údaje
• Implementace statistika poskytující ORC spisovatele a čtenáře rozhraní
• Annotate úl obsluhy strom se statistikami z metastore
• Poskytovat statistiky sloupce na úrovni proužek v ORC
• Poddotaz podpora: zakázat hnízdění poddotazů
• Poddotaz podpora: umožnit poddotazem výrazy doložkou
• Poddotaz podpory: více zkoušek
• Native Parkety Podpora v Úlu
• Hive by měli být schopni přeskočit záhlaví a zápatí řádky při čtení datového souboru pro tabulku
• Přidat datum, TIMESTAMP, desítkové, CHAR, typy VARCHAR podporovat HCat
• Použít mapu-spojit náznak do mezipaměti průběžný výsledek
• Přidat UDF pro výpočet vzdálenosti mezi zeměpisnými souřadnicemi

Co je nového ve verzi 0.8.1:

• Nástroje, které umožňují snadné získat data / transformace / load (ETL).
• Mechanismus uložit strukturu na různých datových formátů.
• Přístup k souborům uloženým buď přímo v Apache HDFS (TM), nebo v jiných systémy pro ukládání dat, jako je Apache HBase (TM).
• Spuštění dotazu prostřednictvím MapReduce.

Co je nového ve verzi 0.8.0:

• Nástroje, které umožňují snadné získat data / transformace / load (ETL)
• Mechanismus uložit strukturu na různých datových formátů
• Přístup k souborům uloženým buď přímo v Apache HDFS (TM), nebo v jiných systémy pro ukládání dat, jako je Apache HBase (TM)
• Spuštění dotazu pomocí MapReduce

Co je nového ve verzi 0.7.1:

• Chyby:
• Výjimka na okna při použití ovladač JDBC. & quot; IOException:. Systém nemůže nalézt zadanou cestu & quot;
• skripty vytvoření schématu jsou neúplné, protože vynechat tabulky, které jsou specifické pro DataNucleus.
• Zlepšení:
• Zlepšit různé chybové zprávy.
• vrátit správné hlavní / vedlejší čísla verzí JDBC Úlu řidiče.
• Přidat provádění HivePreparedStatement na základě aktuálního úlu podporován datový typ.
• Úkoly:
• Úl v Maven.
• Poskytovat Metastore upgradovat skripty a výchozí schémata pro PostgreSQL.

Co je nového ve verzi 0.7.0:

• Nová funkce:
• autorizační infrastruktury pro Úl
• Implementace indexování v Úlu
• Přidat odrážet () UDF pro reflexní vyvolání Java metod
• Hive TypeInfo / ObjectInspector na podporu Unie (kromě struct, pole, a mapa)
• Implementace GenericUDF str_to_map
• Patch na podporu HAVING v úlu
• Sledujte spoje, které jsou převedeny na mapě spojit automaticky
• frekvence a délka trvání hovoru metriky pro HiveMetaStore přes JMX
• Udržovat lastAccessTime v metastore
• Zlepšení:
• Poskytovat možnost exportovat záhlaví
• Podpora zřetelný výběru na dva nebo více sloupců
• Popis rozšířený tabulka / oddílu výstup je mystický
• chybí některé funkce, jako JDBC getTables, GetColumns a HiveResultSet.get * metody založené na název sloupce.
• Klepnutím na logy z podřízené procesy
• Podpora filtr zásobníkové proti nepůvodních tabulek
• Nahradit závislosti na HBase zastaralé API
• Přidat queryid zatímco zamykání
• Aktualizovat transident_lastDdlTime pouze tehdy, pokud není uvedeno
• Přidat další informace o ladění pro zamykání úlu
• HiveInputFormat nebo CombineHiveInputFormat vždy synchronizovat bloky konfiguračního souboru dvakrát
• Zobrazit čas místní úkol trvá
• Vytvořit novou instanci Zookeeper při opakování zámek, a další informace o ladění
• Přidání možnost spuštění úloh pro kontrolu mapy spojit možnost v non-lokálním režimu
• Další ladění pro zamknutí
• Přidat možnost v dynamických dělících vložek hodit chybu, pokud jsou vytvořeny 0 oddíly
• Chyby:
• & quot; LOAD DATA LOCAL INPATH & quot; selže při již tabulka obsahuje soubor se stejným názvem
• NULL není nakládáno správně připojit
• HiveInputFormat.getInputFormatFromCache & quot; vlaštovky & quot; Příčinou výjimku při házení IOExcpetion
• Přidat pokroku v připojit a groupby
• Jednoduché UDAFs s více než 1 parametr havárie na prázdný řádek dotazu
• UDF pole () nefunguje
• dynamický segment vložky zůstala prázdná soubory nevyčištěné v Hadoop 0,17 local mode
• Skip aktualizaci čítače, když RunningJob.getCounters () vrátí null

Co je nového ve verzi 0.5.0:.

• Ať uživatel zadat serde pro vlastní skripty
• Přidat UDF unhex.
• Odebrat lzocodec import z FileSinkOperator.
• Driver NullPointerException při volání GetResults bez první kompilace.
• Zlepšení výkonu pro konfigurační soubor a ColumnarSerDe v úlu.