Jug

Jug je implementace Python rámce MapReduce (dnes standardní součást Hadoop ), což umožňuje vývojářům psát kód, který lze spustit v různých formách paralelizace.
To znamená, kód, který může běžet paralelně na stejném stroji, nebo přes výpočetním clusteru (více počítačů).
Jug umožňuje vývojářům organizovat kód na menší kousky, a výběrem kde, jak a kdy jej spustit.
I když to může být přehnané pro malé webové stránky a aplikace, toto chování může být velmi užitečné v aplikacích s vysokým dopravním zatížením, nebo že zpracovávat velké objemy dat.
Jug mohou pracovat a ukládat data lokálně pomocí pevného disku, nebo můžete použít vzdálené úložiště. V posledním případě, Redis Databáze je podporován

Vlastnosti :.

• Trvalé ukládání dat Podpora
• opakovaně dílčí výsledky
• Podpora souběžného
• Místní úložiště dat
• Vzdálená úložiště dat
• Provozní stav checker

Co je nového v této verzi:

• Opravy Python 3 kompatibility
• fsync (adresář) v souboru backendu
• Džbánek háčky (ještě většinou nelegální, ale již umožňuje vnitřní zjednodušení kódu)

Co je nového ve verzi 0.9.7:

• Fix použití numpy podtřídy
• Oprava REDIS URL analýzy
• Fix `` shell`` pro novější verze IPython
• správně opřít o non-sqlite `` status``

Co je nového ve verzi 0.9.6:

• Rychlejší dekódování
• Přidáno konvička-spustit script
• Added describe () funkce
• přidáno write_task_out () funkce

Co je nového ve verzi 0.9.1:

• přidáno `` webstatus`` Dílčí
• přidáno bvalue () funkce
• Opravena chyba v `` shell`` dílčím (`` value`` nebyl v globálním jmenném prostoru)
• Lepší identity ()
• Opravena chyba při použití Tasklets a --aggressive a odlehčení
• Opravena chyba s Tasklets a spát, dokud / check

Co je nového ve verzi 0.9:

• V přítomnosti bariéry (), spusťte znovu jugfile , Tím bariéru mnohem jednodušší.
• Přidal set_jugdir k veřejné API.
• Added CompoundTaskGenerator.
• Podpora subclassing úkolu.
• Zabraňte vytvoření adresáře v souborovém backend, pokud to není nezbytně nutné.
• Přidat jug.mapreduce.reduce (který napodobuje vestavěný snížit).

Co je nového ve verzi 0.8.1:

• Oprava REDIS backend pro novou verzi modulu klienta
• Faster úložiště souborů pro velké soubory,
• Fix `invalidate` s Tasklets
• Instalovat testy a nechat být spustitelný
• Změnil hash metoda výpočtu. To má zvláštní případ na numpy pole
• (pro rychlost), a je rozšiřitelná pomocí __jug_hash__ háčkem
• Fix chyba Tasklet závislosti, které nejsou řádně zohledněna
• Fix shell Dílčí v novějších verzích ipython
• Přidat __FILE__ atributu falešné jugmodule

Co je nového ve verzi 0.8:

• Tasklets
• Oprava chyby ve spánku, dokud a čištění
• Oprava chyby s CompoundTask (jste potřebovali ke spuštění džbán provést dvakrát).

Co je nového ve verzi 0.8-B0:

• Tasklets - Fix chyby v spánku, až a vyčištění .

Co je nového ve verzi 0.7.4:

• Fix případ, kdy ~ / .jug / configrc dělá neexistuje.
• Print jméno hostitele zamknout soubor na file_store.
• refactored provádění variant.
• Fix vykládání úkoly, které nelze spustit.
• Fix MapReduce prázdných vstup.

Co je nového ve verzi 0.7.3:.

• Parse ~ / .jug / configrc
• Fix chyba se čekací doby.

Ukládání
• Zvláštní případ numpy polí.
• Přidat výraznější syntaxi jugdir.
• Uložit dict_store backend na disk.

Co je nového ve verzi 0.7.2:.

• Zahrnuté chybějící soubory v distribuci

Co je nového ve verzi 0.7.1:.

• spánek až do dílčího
• Fix pro bariérou () a interakce MapReduce.
• zlepšení dokumentace.

Co je nového ve verzi 0.7:

• Lepší `` shell`` příkaz
• přepsal způsob načítání jugfiles
• Úkoly mají původní funkce dostupné jako `f`

Co je nového ve verzi 0.6.9:.

• New check příkaz
• load_all () uvnitř pouzdra.

Co je nového ve verzi 0.5.2:.

• New `shell` příkaz
• Komprese v REDIS backend.
• Zlepšení rychlosti pro 'zrušit' command.

Co je nového ve verzi 0.5.1:

• Redis backend
• Slovník závislosti
• změny rozhraní příkazové řádky (command džbán jugfile ...)

Požadavky na :

• Python 2.6 nebo vyšší,