taskmaster

učitelka je jednoduchý distribuovaný fronta určen pro manipulaci s velkým počtem jednorázových úkolů.
Postavili jsme to na DISQUS zvládnout časté, ale neobvyklé úkoly, jako je "přenést tato data do nového schématu".
Proč?
Můžete se ptát: "Proč ne používat celer?". No odpověď je pouze to, že normální služba Řízení front vyžaduje (ne doslova, ale to by bylo bolestivé, aniž), které do vyrovnávací paměti všechny úkoly v centru města. To je problém, když máte velké množství úkolů, zejména pokud obsahují velké množství dat.
Představte si, že máte 1000000000 úkoly, z nichž každý váží 5K. To je, nekomprimovaný, s minimálními 4 TB skladování potřebných jen aby, že kolem sebe, a získává ty velmi málo.
Taskmaster na druhé straně je navržen tak, aby se Potlačitelný iterátor, a vytáhnout pouze v maximálním počtu pracovních míst najednou (za použití standardní Python fronty je). To zajišťuje konzistentní paměti, vzor, ​​který lze škálovat lineárně.
Použít
Vytvořte iterátor, a zpětného volání:
import zásuvka
# Musíme zajistit výchozí časový limit ** není nastaven ** nebo náhodné hovno bude hit ventilátor.
socket.setdefaulttimeout (None)
# Učitelka / example.py
DEF get_jobs (last = 0):
& Nbsp; # poslední bude odeslána, pokud stát byl obnoven
& Nbsp; # z předchozího běhu
& Nbsp; for i in xrange (poslední, 100000000):
& Nbsp; # pracovní místa získá, musí být serializeable s kyselou okurkou
& Nbsp; výnos i
def handle_job (i):
& Nbsp; # tento ** musí být ** idempotentních, je obnovení procesu mohou provádět práci
& Nbsp; #, které již zajeté
& Nbsp; print "Got% r!" % I
Potěr master:
& Nbsp; tm-master taskmaster.example
Potěr otroka:
& Nbsp; tm-otrok taskmaster.example
Nebo potěr 8 otroky (z nichž každá obsahuje threadpool):
& Nbsp; tm-potěr taskmaster.example 8
Nelíbí magické funkce objevit na master / slave? Zadejte své vlastní cíle:
& Nbsp; tm-master taskmaster.example: get_jobs $ tm-otrok taskmaster.example: handle_job

Poznámka: Všechny argumenty jsou volitelné, a bude ve výchozím nastavení localhost bez auth klávesou

Požadavky na :.

• Python