Dapper Dataflow Engine

Software screenshot:
Dapper Dataflow Engine
Podrobnosti Software:
Verze: 0.98
Datum uploadu: 12 May 15
Vývojka: Roy Liu
Licence: Volný
Popularita: 10

Rating: 2.0/5 (Total Votes: 1)

Dapper (Distributed a paralelní Program Execution Runtime), je nástroj pro zkrocení složitosti vyvíjí rozsáhlé cloud a grid computing, který umožňuje uživateli vytvořit distribuované výpočty z podstatné - kód, který bude execut
Proč Dapper?
Žijeme v zajímavých časech, kdy průlomy ve vědách stále více záviset na rostoucí dostupnosti a hojnost commoditized, síťových výpočetních zdrojích. S pomocí cloudu nebo mřížky, výpočty, které by se jinak běžet několik dní na jediném stolním počítači mají nyní distribuované a / nebo paralelní formulace, které mohou chrlit přes, během několika hodin, vstup nastaví desetkrát tak velká, o sto strojích , Jak lákavá jako myšlenka síly v číslech může být, má jen fyzickou hardware nestačí - programátor má k řemeslu skutečný výpočet, který bude spuštěn na něm. V důsledku toho je vysoká hodnota umístěn na lidském úsilí a kreativity vyžaduje programovací prostředí, které umožňuje, a to i povzbuzuje, stručné expresi distribuovaných výpočtů, a přitom zároveň není obětovat obecnosti.
Dapper, stání pro distribuované a paralelní spuštění programu Runtime, je jeden takový nástroj pro přemostění vysokých specifikací vědec / programátorský úrovně, které zachycují podstatu programu, s mechanismů nízké úrovně, které odrážejí realitu nechutné distribuovaných a paralelních výpočtů. Pod jeho dataflow orientovaným přístupem, Dapper umožňuje uživatelům kód lokálně v Javě a spustit globálně na oblaku nebo mřížky. Uživatel První píše codelets, nebo malé kousky kódu, které provádět jednoduché úkoly, a nemají samy o sobě představovat kompletní program. Poté, on nebo ona určuje, jak tyto codelets, viděný jako vrcholy v datového toku, přenášet data navzájem přes EDGE vztahů. Výsledný orientovaný acyklický dataflow graf je kompletní program interpretable podle Dapper serverem, který poté, co byl kontaktován s dlouhým poločasem dělnických klienty, může koordinovat distribuovaný popravu.
Pod Dapper modelu, uživatel již nemusí obávat tradičně ad-hoc aspektů řízení mrak nebo mřížku, které zahrnují zpracování dat propojuje a závislostí, zotavuje z chyb, distribuce kód, a spuštění úlohy. Možná ještě důležitější je, že poskytuje kompletní Java-založené toolchain a runtime pro vytváření téměř všechny hrubozrnný distribuované výpočty v konzistentním formátu, který umožňuje rychlé nasazení a snadnou dopravu do dalších výzkumných pracovníků.

Vlastnosti :

  • Kód distribuční systém, který umožňuje Dapper serveru přenášet požadovaný programový kód v síti a mají klienti dynamicky ji načíst. Důsledkem toho je, že kromě externí spustitelné soubory, aktualizace Dapper programy musí dojít pouze na straně serveru.
  • silný dílčího toku Způsob vkládání pro dynamicky úpravy dataflow graf za běhu.
  • runtime v vanilkovým Javě, jazyk, který mnoho z nich je bezpochyby znají. Kromě požadavku nedávného JVM a popřípadě Graphviz Dot, Dapper je soběstačný.
  • robustní řízení protokol. Dapper server očekává libovolný počet klientů k selhání, kdykoliv, a má přizpůsobitelné re-spuštění a časového limitu politiky vyrovnat. V důsledku toho může jeden start a stop (dlouhověké) klienti bez strachu z uvedení celého systému do nekonzistentním stavu.
  • Flexibilní sémantika, které umožňují přenos dat prostřednictvím souborů nebo TCP potoků.
  • Spolupráce s firewally. Vzhledem k tomu, vaše místní cloud nebo mřížka pravděpodobně sedí za firewallem, jsme vymysleli speciální sémantiku pro streaming přenosy dat.
  • Liberální licenční podmínky. Dapper je uvolněn pod LGPL, aby se zabránilo kontaminaci vašeho codebase.
  • Provoz jako vložený aplikace. Uživatelská příručka popisuje programování API, které uživatelé mohou sledovat spustit Dapper serveru uvnitř aplikace, jako je Apache Tomcat.
  • Provoz jako samostatný uživatelské rozhraní. S ním je možné spustit off-the-police dema a učit se základní pojmy z vizuálních příkladů. Dodržováním minimální sadu konvencí, jeden pak může svazek něčí vlastní Dapper programy jako exekuční archivy, a pak se v reálném čase stav dataflow a ladění zpětné vazby.

Co je nového v této verzi:

  • metoda ServerLogic # closeIdleClients byl změněn, aby lépe odpovídaly o autorovi intuitivní ponětí o nečinnosti.
  • uživatelská volba pro zadání názvu hostitele serveru byl přidán.
  • Networking vestavby byly přepracovány používat nové API.
  • Proces sestavení byl aktualizován na podporu jak 32- a 64-bitovým systémem Windows cross-kompilace.
  • Dapper. * Hierarchie byla přejmenována na org.dapper. *.

Co je nového ve verzi 0.96:

  • Přidána FlowListener abstrakci, takže uživatelé mohou nyní spolupracovník metadata s toků dat a jejich uzlů.
  • opraven nevracení paměti v Dapper serveru.
  • Přidáno apiviz Doclet tagy tak, že vztahy mezi třídami může být lépe vizualizovat.
  • Přidána apiviz pro vizualizaci závislostí v dokumentaci Javadoc.
  • Opravena malá chyba v BuildAndTest spustitelný soubor.
  • Proces sestavení je nyní plně integrována s Apache Ivy. Distribuce Zdroj nyní delší lodě s SST. Místo toho, závislosti jsou automaticky staženy; není-li to, že jeden může stáhnout zdroj SST, zkompilovat, a publikovat do místní úložiště. Viz uživatelský manuál pro více detailů.
  • Aktualizováno build proces a odstranit nadbytečné kroky.

  • Oznámení
  • normalizovaného Autorská práva a licence ve všech souborech.
  • Java 1.6 je nyní nutné stavět a provozovat.
  • Změnit sestavení proces používat Apache Ivy, což znamená, že externí závislosti již nemusí být zabalen s hlavní distribuci SST.
  • Added 'doxygen "cíl vybudovat proces tak, že nativní komponenty lze dokumentovat.

Co je nového ve verzi 0.95:

  • nový, flexibilní protokolování infrastruktura byla přidána
  • Inicializátory pro lesní struktury byly přesunuty ze tříd serverem a klientem a do ovladače.
  • Konečné automaty byly aktualizovány na nové anotace-řízený API.
  • Zdrojový kód byl normalizován mít 8 míst namísto záložek.

Co je nového ve verzi 0.94:

  • Možnosti příkazového řádku pro klienta a serveru jsou nyní k dispozici, s laskavým svolením knihovny Apache Commons CLI.
  • Životní cyklus Proces klient je nyní definován jako konec, když odpojení ze serveru se stane.
  • Stem funkčnost generace se posunula od bytí člen metoda OutputHandleResource k bytí statická metoda CodeletUtilities.
  • FlowNodeFactory třída se používá ve prospěch přímé instance FlowNodes.
  • Budova nativní součástí se stěhoval do cmake.
  • Přihlášení se stěhoval do SLF4J.
  • README byl přidán do všech distribucích.

Co je nového ve verzi 0.93:.

  • výrazně zlepšila pedagogické příklady
  • Aktualizováno manuální.
  • větší pohodlí rutiny v dapper.codelet.CodeletUtilities pro dotazování zdrojů.
  • Odstraněna Generator, FileEdge, FileBatchGenerator, FileBatchEdge, FileResource, a FileBatchResource. Byly nahrazeny konceptem abstraktních datových úchyty v podobě HandleEdge, InputHandleResource, OutputHandleResource. Viz návod k obsluze pro změny.
  • Aktualizováno dapper.codelet.Resource vyvážet vstupní a výstupní proudy.

Požadavky na :

  • Java 2 Standard Edition Runtime Environment

Podobný software

OpenNebula
OpenNebula

20 Feb 15

GNU Parallel
GNU Parallel

17 Feb 15

Spread
Spread

20 Feb 15

Komentáře k Dapper Dataflow Engine

Komentáře nebyl nalezen
Přidat komentář
Zapnout obrázky!