Apache Hadoop byl původně vyvinut společností Yahoo a projekt je kombinací mezi předchozími Apache Hadoop jádro a Apache Hadoop Společné repo operací.
Projekt Hadoop získal hodně proslulosti díky svým skvělým výsledkům při provádění multi-server distribuované výpočetní systém pro manipulaci obrovské množství dat.
Projekt sám o sobě je vlastně vyrobený ze čtyř částí. Jedním z nich je Hadoop Common, tzv jádro, které umožňuje, aby všechny ostatní moduly pracovat, druhý je jeho velmi vlastní souborový systém - HDFS (Hadoop Distributed File System), třetí je Hadoop plánování příze rámec, a konečně je zde systém Hadoop MapReduce pro podporu paralelních výpočtů.
Pomocí těchto průkopnický systém, Apache podařilo vytvořit mnoho dalších vedlejších projektů, jako jsou:
- Apache Ambari
- Apache Avro
- Apache Cassandra
- Apache HBase
- Apache Hive
- Apache Mahout
- Apache Pig
- Apache Spark
- Apache Tez
- Apache Zookeeper
Všechny z nich se spoléhají na Hadoop mocného zpracování dat motoru nebo jeho distribuovaných výpočetních funkcí, integrování jednoho ze svých modulů ve svých klíčových své jedné cestě nebo jiný.
Co je nového v této verzi:
- podpora pro archivaci
- Transparentní data na šifrování odpočinku (beta)
- Použití bezpečné DataNode aniž by bylo nutné oprávnění uživatele root
- Hot Swap drive: Podpora přidat / odebrat objemy dat uzlů bez restartování datový uzel (beta)
- Podpora AES šifrování pro rychlejší drátu
- Podpora pro dlouhé provozní služby příze
- Podpora uzel štítky během rozvrhovacích
- Podpora pro časově omezené rezervace zdrojů v Plánovači Capacity (beta)
- Global, sdílené paměti cache pro aplikační artefakty (beta)
- Podpora běh aplikací nativně v Docker kontejnery (alfa)
Co je nového ve verzi 2.7.1:
- Podpora pro archivaci
- Transparentní data na šifrování odpočinku (beta)
- Použití bezpečné DataNode aniž by bylo nutné oprávnění uživatele root
- Hot Swap drive: Podpora přidat / odebrat objemy dat uzlů bez restartování datový uzel (beta)
- Podpora AES šifrování pro rychlejší drátu
- Podpora pro dlouhé provozní služby příze
- Podpora uzel štítky během rozvrhovacích
- Podpora pro časově omezené rezervace zdrojů v Plánovači Capacity (beta)
- Global, sdílené paměti cache pro aplikační artefakty (beta)
- Podpora běh aplikací nativně v Docker kontejnery (alfa)
Co je nového ve verzi 2.7.0:
- Podpora pro archivaci
- Transparentní data na šifrování odpočinku (beta)
- Použití bezpečné DataNode aniž by bylo nutné oprávnění uživatele root
- Hot Swap drive: Podpora přidat / odebrat objemy dat uzlů bez restartování datový uzel (beta)
- Podpora AES šifrování pro rychlejší drátu
- Podpora pro dlouhé provozní služby příze
- Podpora uzel štítky během rozvrhovacích
- Podpora pro časově omezené rezervace zdrojů v Plánovači Capacity (beta)
- Global, sdílené paměti cache pro aplikační artefakty (beta)
- Podpora běh aplikací nativně v Docker kontejnery (alfa)
Co je nového ve verzi 2.6.0:
- Podpora pro archivaci
- Transparentní data na šifrování odpočinku (beta)
- Použití bezpečné DataNode aniž by bylo nutné oprávnění uživatele root
- Hot Swap drive: Podpora přidat / odebrat objemy dat uzlů bez restartování datový uzel (beta)
- Podpora AES šifrování pro rychlejší drátu
- Podpora pro dlouhé provozní služby příze
- Podpora uzel štítky během rozvrhovacích
- Podpora pro časově omezené rezervace zdrojů v Plánovači Capacity (beta)
- Global, sdílené paměti cache pro aplikační artefakty (beta)
- Podpora běh aplikací nativně v Docker kontejnery (alfa)
Co je nového ve verzi 2.5.0:.
- vylepšení autentizace při použití HTTP proxy server
- Nový Hadoop Metrics dřez, který umožňuje psát přímo na grafit.
- Specification for Hadoop Kompatibilní Filesystem úsilí.
- Podpora POSIX ve stylu souborového systému rozšířené atributy.
- OfflineImageViewer k procházení fsimage přes API WebHDFS.
- vylepšení Supportability a oprav do brány NFS.
- Modernizovaný web UI (HTML5 a JavaScript) pro HDFS démonů.
- Podpora REST API příze je předkládání a zabíjení aplikací.
- Kerberos integrace časové osy obchodě příze je.
Co je nového ve verzi 2.4.0:
- Podpora Access Control Lists v HDFS
- Nativní podpora pro postupné inovace v HDFS
- Využití protokolu nárazníky pro HDFS FSImage pro hladké provozních vylepšení
- Kompletní podpora HTTPS v HDFS
- Podpora pro automatické zálohování příze ResourceManager
- Vylepšená podpora pro nové aplikace na příze s Aplikace History Server a Application Server Timeline
- Podpora silných SLA příze CapacityScheduler přes Preemption
Co je nového ve verzi 2.3.0:.
- Podpora heterogenních storage hierarchii HDFS
- V paměti vyrovnávací paměť pro data HDFS s centralizovanou správou a řízením.
- Zjednodušený distribuce MapReduce binárních souborů přes HDFS příze Distributed Cache.
Co je nového ve verzi 2.2.0:
- příze - Systém obecný účel řízení prostředků pro Hadoop dovolit MapReduce a dalších jiných rámců a služby pro zpracování dat
- Vysoká dostupnost pro HDFS
- HDFS federace
- HDFS Snímky
- NFSv3 přístup k datům v HDFS
Co je nového ve verzi 2.1.0-beta:
- HDFS Snímky
- Podpora pro běh Hadoop na Microsoft Windows
- stabilizace YARN API
Co je nového ve verzi 2.0.3-alpha:
- qjm pro HDFS HA pro NameNode
- plánování Multi-zdrojů (CPU a paměti) pro nití
- příze ResourceManager Restart
- Výrazné stability ve velkém měřítku pro příze (více než 30.000 uzlů a 14 milionů žádostí tak daleko, v době vydání)
Co je nového ve verzi 1.0.0:.
- Lepší zabezpečení
- HBase (přidat / hsynch / hflush a bezpečnost).
- webhdfs (s plnou podporou pro bezpečnost).
- Výkon lepší přístup k místním souborům pro HBase.
- Další vylepšení výkonu, opravy chyb, a funkce.
Co je nového ve verzi 0.20.2:
- RPC server odešle vyrovnávací paměti zachovává velikost největšího odpovědi někdy poslal.
- C ++ knihovny nestaví na Debian Lenny.
- Některé c ++ skripty nejsou chmodded před mravenců provedení.
- Streaming:. Zpracovávat za předpokladu, stavové zprávy jsou přepsány každých 10 seoncds
- IllegalArgumentException při CombineFileInputFormat používá jako zaměstnání InputFormat.
- několik chyb w / Hadoop archivu.
- Povolit ukládání do mezipaměti instancí souborového systému, které mají být zakázána na jednotlivé instance.
- Chybějící synchronizace pro defaultResources v Configuration.addResource.
- GzipCodec by neměly představovat BuiltInZlibInflater jako decompressorType.
- NameNode je HttpServer nelze konkretizovat InetSocketAddress: IllegalArgumentException je hozen .
- HttpServer spí s negativních hodnotách.
- Namenode běží vyřazení z paměti v důsledku nevracení paměti ipc Server.
- IPC klient chyba může způsobit RPC volání viset.
- Pokud se to testy zabránit zbytek testovacích terčů před popravou.
- contribu testy selhávají Clover'ed stavět.
- Testy neběží na 0,20 větvi.
- TestStreamingStatus se nedaří na 0,20 větvi.
Komentáře nebyl nalezen