Apache Spark

Spark byl navržen s cílem zlepšit rychlost zpracování pro analýzu dat a manipulačních programů.
To bylo psáno v Javě a Scala a nabízí funkce, které nejsou uvedeny v jiných systémech, zejména proto, že nejste ani mainstream, že užitečné pro zpracování žádostí non-dat.

Co je nového v této verzi:.

• Jádro API nyní podporuje multi-level agregace stromy, které vám pomohou urychlit drahé snížit operace
• Vylepšené hlášení chyb byla přidána pro některé Gotcha operace.

Jetty závislost
• Spark je nyní ve stínu, aby nedocházelo ke konfliktům s uživatelskými programy.
• Spark nyní podporuje šifrování SSL pro některé komunikační koncové body.
• Realtime GC metriky a rekordní počty byly přidány do uživatelského rozhraní.

Co je nového ve verzi 1.3.0:

• Jádro API nyní podporuje multi-level agregační stromy pomoci urychlit drahé omezit provoz.
• Vylepšené hlášení chyb byla přidána pro některé Gotcha operace.

Jetty závislost
• Spark je nyní ve stínu, aby nedocházelo ke konfliktům s uživatelskými programy.
• Spark nyní podporuje šifrování SSL pro některé komunikační koncové body.
• Realtime GC metriky a rekordní počty byly přidány do uživatelského rozhraní.

Co je nového ve verzi 1.2.1:

• PySpark je operátor třídit nyní podporuje externí rozlití pro velké soubory dat .
• PySpark nyní podporuje vysílání proměnné větší než 2 GB a provádí externí rozlití během druhů.
• Spark přidává stránky na zaměstnání na úrovni pokroku v Spark rozhraní, stabilní API pro podávání zpráv o pokroku, a dynamickou aktualizaci výstupních metrik jako zaměstnanost kompletní.
• Spark má nyní podporu pro čtení binárních souborů pro obrázky a další binární formáty.

Co je nového ve verzi 1.0.0:

• Tato verze rozšiřuje standardní knihovny Spark je, zavádí nový SQL balíček (Spark SQL), který umožňuje uživatelům integrovat SQL dotazů do stávajících Spark workflow.
• MLlib, strojové učení knihovna Spark je, je rozšířen s řídkým vektorovým podporou a několik nových algoritmů.

Co je nového ve verzi 0.9.1:

• Opravena hash kolize chyba v externím rozlití
• Pevná v rozporu s Spark log4j pro uživatele založené na jiných těžebních backends
• Pevná Graphx chybí z montážní Spark jar v Maven staví
• Pevné tiché poruchy způsobené zmapovat stav výkonem převyšujícím velikosti Akka rámu
• odstraněny Spark je zbytečné přímé závislost na ASM
• Odstraněny metriky-ganglia z výchozího sestavení kvůli LGPL licencí konfliktu
• Opravena chyba v distribučním tarballu neobsahující montáž jiskra jar

Co je nového ve verzi 0.8.0:

• Development se přestěhovala do Apache Sowftware nadace as inkubátor projektů.

Co je nového ve verzi 0.7.3:

• Python plnění: mechanismus jiskra pro tření Python VM má byl vylepšen tak učinit rychleji, když JVM má velkou velikost haldy, urychlení Python API.
• Mesos opravuje: JAR přidané do vaší práce bude nyní na classpath při deserializing výsledky úloh v Mesos
.
• hlášení Chyba:. Lepší hlášení chyb pro non-serializovatelný výjimek a příliš velké výsledky úloh
• Příklady:. Přidána příklad stavové zpracování toku s updateStateByKey
• Build:. Spark Streaming již závisí na Twitter4J repo, který by měl umožnit, aby stavět v Číně
• Opravy chyb v foldByKey, streaming počet, metody statistiky, dokumentace, a web UI.

Co je nového ve verzi 0.7.2:.

• Scala verze aktualizován na 2.9.3
• několik vylepšení Bagel, včetně výkonnostních oprav a nastavitelnou úrovní skladování.
• Nové metody API:. SubtractByKey, foldByKey, mapWith, filterWith, foreachPartition a další
• A nové metriky pro podávání zpráv rozhraní, SparkListener, shromažďovat informace o každém stupni výpočtu:. Délky úlohy, bajtů zamíchány, etc
• několik nových příkladů pomocí Java API, včetně K-prostředky a výpočetní pi.

Co je nového ve verzi 0.7.0:

• Spark 0,7 přidává Python API s názvem PySpark <. / li>
• Zapalovací pracovních míst nyní spustí webový dashboard pro sledování využití paměti každého distribuované datové sady (DDD) v programu.
• Spark nyní může být vytvořena pomocí Maven kromě SBT.

Co je nového ve verzi 0.6.1:

• Pevná příliš agresivní zprávu časové limity, které by mohly způsobit pracovníkům odpojit od clusteru.
• Opravena chyba v režimu samostatném nasazení, které nebyly vystavit hostitelů na plánovače, ovlivňuje HDFS lokalitu.
• opětovné použití Vylepšené připojení v Shuffle, který může výrazně urychlit malé zamíchá.
• Opraveny některé potenciální zablokování v manažeru bloků.
• Opravena chyba dostat ID neúspěšných hostitelů od Mesos.
• Několik vylepšení EC2 skript, stejně jako lepší manipulaci bodových instancí.
• Made lokální IP adresa, která se váže k Spark přizpůsobitelné.
• Podpora Hadoop 2 distribucí.
• Podpora pro umístění Scala na distribucí Debianu.

Co je nového ve verzi 0.6.0:.

• Jednodušší nasazení
• dokumentace Spark bylo rozšířena o novou příručka pro rychlý start, další pokyny pro nasazení, konfigurace průvodcem, tuning průvodcem, a lepší dokumentaci Scaladoc API.
• Nový komunikační manažerka pomocí asynchronní Java NIO umožňuje náhodného operace běžet rychleji, zvláště při odesílání velkého množství dat nebo při pracovní místa mají mnoho úkolů.
• Nový Storage Manager podporuje per-datové sady nastavení úrovně skladování (např zda zachovat datové sady v paměti, rekonstruován, na disku, atd, nebo dokonce replikovat přes uzly).
• Enhanced ladění.