DataFu

DataFu byl vyvinut na LinkedIn a je psaný úplně v Javě.

DataFu obsahuje funkce / knihovny pro práci s:

- Statistiky

- Odhad

- Odběr vzorků

- Sessions

- Link Analysis

- Nastavit operace

- Tašky

DataFu je ideální pro dolování dat a statistických aplikací pracujících v horní části Hadoop nebo Pig databází.

Tyto funkce umožňují vývojářům plně využít všech dat uložených uvnitř Hadoop nebo Pig databáze, aniž by museli vypořádat s masivními požadavky na systém, aby tak učinily.

Co je nového v této verzi:.

• Pár FRM pro prostý náhodný výběr s výměnou
• Další závislostí nyní zabalen v DataFu nutné proto méně JAR závislosti.
• SetDifference UDF pro výpočet stanovený rozdíl (např. A-B nebo A-B-C).

Co je nového ve verzi 1.2.0:

• Pár FRM pro prostým náhodným výběrem s výměnou.
• Další závislostí nyní zabalen v DataFu nutné proto méně JAR závislosti.
• SetDifference UDF pro výpočet stanovený rozdíl (např. A-B nebo A-B-C).

Co je nového ve verzi 1.1.0:.

• z přidané SHA hash UDF
• InUDF a AssertUDF přidal k Pig 0,12 kompatibilitu. Jsou to stejné jako v a uplatňovat.
• SimpleRandomSample, který implementuje škálovatelnou jednoduchý algoritmus náhodný výběr.