Hadoopy

Je to v podstatě knihovna Pythonu pro MapReduce napsaný v Cython

Vlastnosti :.

• Podobně rozhraní jako Hadoop API (návrhové vzory použitelné mezi Python / Java rozhraní)
• Obecné kompatibilita s Dumbo umožnit uživatelům přepínat tam a zpět
• Užitná na Hadoop clusterů, aniž by Python nebo admin přístup
• Rychlé konverzi a zpracování
• Zůstaňte malé a dobře zdokumentované,
• Být transparentní s tím, co se děje na
• Rukojeť programy s komplikovanými .so letech, ctypes a rozšíření
• Kód psaný pro hack-schopnost
• Jednoduché HDFS přístup (např, čtení, psaní, ls)
• Podpora (a ne replikovat) větší Hadoop ekosystém (např Oozie, vrčení)
• Automatizované práce paralelizace "auto-oozie" k dispozici v rámci projektu hadoopy průtoku (udržovaný mimo pobočky)
• Místní provedení nemodifikované MapReduce práce s launch_local
• čtení / zápisu sekvenční soubory TypedBytes přímo do HDFS Python (readtb, writetb)
• umožňuje tisk na stdout a stderr v Hadoop úkoly, aniž by docházelo k problémům (používá "potrubí hopping" techniku, oba jsou k dispozici v stderr úkolu)
• Pracuje na clusterech bez jakékoliv další instalace, Python, nebo jakékoliv Pythonu knihovny (používá Pyinstaller, který je obsažen v tomto zdrojovém stromu)
• Práce na OS X
• Kritická cesta je v Cython
• Jednoduché HDFS přístup (readtb a ls) uvnitř Python, dokonce i uvnitř běžící úlohy
• Test Unit rozhraní

(Prohlášení a tisk! Není potřeba se bát jich v Hadoopy)
• Reporting pomocí stav a pulty
• Podpora návrhové vzory v Lin & Dyer knihy
• Typedbytes podpora (velmi rychle)
• Podpora Oozie

Požadavky na :

• Cython 0.13 nebo vyšší