Dapper Dataflow Engine

Dapper (Distributed a paralelní Program Execution Runtime), je nástroj pro zkrocení složitosti vyvíjí rozsáhlé cloud a grid computing, který umožňuje uživateli vytvořit distribuované výpočty z podstatné - kód, který bude execut
Proč Dapper?
Žijeme v zajímavých časech, kdy průlomy ve vědách stále více záviset na rostoucí dostupnosti a hojnost commoditized, síťových výpočetních zdrojích. S pomocí cloudu nebo mřížky, výpočty, které by se jinak běžet několik dní na jediném stolním počítači mají nyní distribuované a / nebo paralelní formulace, které mohou chrlit přes, během několika hodin, vstup nastaví desetkrát tak velká, o sto strojích , Jak lákavá jako myšlenka síly v číslech může být, má jen fyzickou hardware nestačí - programátor má k řemeslu skutečný výpočet, který bude spuštěn na něm. V důsledku toho je vysoká hodnota umístěn na lidském úsilí a kreativity vyžaduje programovací prostředí, které umožňuje, a to i povzbuzuje, stručné expresi distribuovaných výpočtů, a přitom zároveň není obětovat obecnosti.
Dapper, stání pro distribuované a paralelní spuštění programu Runtime, je jeden takový nástroj pro přemostění vysokých specifikací vědec / programátorský úrovně, které zachycují podstatu programu, s mechanismů nízké úrovně, které odrážejí realitu nechutné distribuovaných a paralelních výpočtů. Pod jeho dataflow orientovaným přístupem, Dapper umožňuje uživatelům kód lokálně v Javě a spustit globálně na oblaku nebo mřížky. Uživatel První píše codelets, nebo malé kousky kódu, které provádět jednoduché úkoly, a nemají samy o sobě představovat kompletní program. Poté, on nebo ona určuje, jak tyto codelets, viděný jako vrcholy v datového toku, přenášet data navzájem přes EDGE vztahů. Výsledný orientovaný acyklický dataflow graf je kompletní program interpretable podle Dapper serverem, který poté, co byl kontaktován s dlouhým poločasem dělnických klienty, může koordinovat distribuovaný popravu.
Pod Dapper modelu, uživatel již nemusí obávat tradičně ad-hoc aspektů řízení mrak nebo mřížku, které zahrnují zpracování dat propojuje a závislostí, zotavuje z chyb, distribuce kód, a spuštění úlohy. Možná ještě důležitější je, že poskytuje kompletní Java-založené toolchain a runtime pro vytváření téměř všechny hrubozrnný distribuované výpočty v konzistentním formátu, který umožňuje rychlé nasazení a snadnou dopravu do dalších výzkumných pracovníků.

Vlastnosti :

• Kód distribuční systém, který umožňuje Dapper serveru přenášet požadovaný programový kód v síti a mají klienti dynamicky ji načíst. Důsledkem toho je, že kromě externí spustitelné soubory, aktualizace Dapper programy musí dojít pouze na straně serveru.
• silný dílčího toku Způsob vkládání pro dynamicky úpravy dataflow graf za běhu.
• runtime v vanilkovým Javě, jazyk, který mnoho z nich je bezpochyby znají. Kromě požadavku nedávného JVM a popřípadě Graphviz Dot, Dapper je soběstačný.
• robustní řízení protokol. Dapper server očekává libovolný počet klientů k selhání, kdykoliv, a má přizpůsobitelné re-spuštění a časového limitu politiky vyrovnat. V důsledku toho může jeden start a stop (dlouhověké) klienti bez strachu z uvedení celého systému do nekonzistentním stavu.
• Flexibilní sémantika, které umožňují přenos dat prostřednictvím souborů nebo TCP potoků.
• Spolupráce s firewally. Vzhledem k tomu, vaše místní cloud nebo mřížka pravděpodobně sedí za firewallem, jsme vymysleli speciální sémantiku pro streaming přenosy dat.
• Liberální licenční podmínky. Dapper je uvolněn pod LGPL, aby se zabránilo kontaminaci vašeho codebase.
• Provoz jako vložený aplikace. Uživatelská příručka popisuje programování API, které uživatelé mohou sledovat spustit Dapper serveru uvnitř aplikace, jako je Apache Tomcat.
• Provoz jako samostatný uživatelské rozhraní. S ním je možné spustit off-the-police dema a učit se základní pojmy z vizuálních příkladů. Dodržováním minimální sadu konvencí, jeden pak může svazek něčí vlastní Dapper programy jako exekuční archivy, a pak se v reálném čase stav dataflow a ladění zpětné vazby.

Co je nového v této verzi:

• metoda ServerLogic # closeIdleClients byl změněn, aby lépe odpovídaly o autorovi intuitivní ponětí o nečinnosti.
• uživatelská volba pro zadání názvu hostitele serveru byl přidán.
• Networking vestavby byly přepracovány používat nové API.
• Proces sestavení byl aktualizován na podporu jak 32- a 64-bitovým systémem Windows cross-kompilace.
• Dapper. * Hierarchie byla přejmenována na org.dapper. *.

Co je nového ve verzi 0.96:

• Přidána FlowListener abstrakci, takže uživatelé mohou nyní spolupracovník metadata s toků dat a jejich uzlů.
• opraven nevracení paměti v Dapper serveru.
• Přidáno apiviz Doclet tagy tak, že vztahy mezi třídami může být lépe vizualizovat.
• Přidána apiviz pro vizualizaci závislostí v dokumentaci Javadoc.
• Opravena malá chyba v BuildAndTest spustitelný soubor.
• Proces sestavení je nyní plně integrována s Apache Ivy. Distribuce Zdroj nyní delší lodě s SST. Místo toho, závislosti jsou automaticky staženy; není-li to, že jeden může stáhnout zdroj SST, zkompilovat, a publikovat do místní úložiště. Viz uživatelský manuál pro více detailů.
• Aktualizováno build proces a odstranit nadbytečné kroky.

Oznámení
• normalizovaného Autorská práva a licence ve všech souborech.
• Java 1.6 je nyní nutné stavět a provozovat.
• Změnit sestavení proces používat Apache Ivy, což znamená, že externí závislosti již nemusí být zabalen s hlavní distribuci SST.
• Added 'doxygen "cíl vybudovat proces tak, že nativní komponenty lze dokumentovat.

Co je nového ve verzi 0.95:

• nový, flexibilní protokolování infrastruktura byla přidána
• Inicializátory pro lesní struktury byly přesunuty ze tříd serverem a klientem a do ovladače.
• Konečné automaty byly aktualizovány na nové anotace-řízený API.
• Zdrojový kód byl normalizován mít 8 míst namísto záložek.

Co je nového ve verzi 0.94:

• Možnosti příkazového řádku pro klienta a serveru jsou nyní k dispozici, s laskavým svolením knihovny Apache Commons CLI.
• Životní cyklus Proces klient je nyní definován jako konec, když odpojení ze serveru se stane.
• Stem funkčnost generace se posunula od bytí člen metoda OutputHandleResource k bytí statická metoda CodeletUtilities.
• FlowNodeFactory třída se používá ve prospěch přímé instance FlowNodes.
• Budova nativní součástí se stěhoval do cmake.
• Přihlášení se stěhoval do SLF4J.
• README byl přidán do všech distribucích.

Co je nového ve verzi 0.93:.

• výrazně zlepšila pedagogické příklady
• Aktualizováno manuální.
• větší pohodlí rutiny v dapper.codelet.CodeletUtilities pro dotazování zdrojů.
• Odstraněna Generator, FileEdge, FileBatchGenerator, FileBatchEdge, FileResource, a FileBatchResource. Byly nahrazeny konceptem abstraktních datových úchyty v podobě HandleEdge, InputHandleResource, OutputHandleResource. Viz návod k obsluze pro změny.
• Aktualizováno dapper.codelet.Resource vyvážet vstupní a výstupní proudy.

Požadavky na :

• Java 2 Standard Edition Runtime Environment