DataCleaner

DataCleaner je open source a zcela zdarma řešení pro organizace a podniky, které chtějí zvýšit a měření kvality svých dat.
S DataCleaner, uživatelé budou moci na profil, porovnávat, ověřovat data vůči obchodních pravidel, a sledovat průběh těchto měření v čase.
Mezi jeho vlastnosti můžeme zmínit monitoring dat, profilování dat a DQ analýza, čištění dat a obohacování, odhalování a sloučit duplikáty, kvalitu zákaznických dat, stejně jako super-rychlý ETLightweight (Extract-Transform-Load).
Chcete-li se dozvědět více o funkcích a možnostech DataCleaner, stejně jako, jak s ním pracovat, naleznete http://eobjects.dk/docs

What je nového v této verzi :

• vylepšení a nových funkcí:
• jsme umožnilo vytvářet a mazat tabulky přes desktop UI z DataCleaner. Všimněte si, že termín & quot; tabulky & quot; zde ve skutečnosti se vztahuje na více než jen relačních databází tabulek. To také zahrnuje listů v datových úložišť MS Excel, sbírek v MongoDB, typy dokumentů v CouchDB a ElasticSearch a tak dále ... V podstatě všechny typy Datastore které podporují write-operace, s výjimkou jednoho stolu datových úložišť, jako je CSV datových úložišť, podporují tuto funkci! Funkce je vystavena pomocí:
• & quot; vytvořit tabulku & quot; povoleno přes pravé tlačítko menu schémat ve stromu na levé straně aplikace.
• & quot; vytvořit tabulku & quot; povoleno také přes stolní výběru vstupů komponentů, jako jsou vložit do tabulky, vyhledávací tabulky a aktualizace tabulky.
• & quot; Drop tabulka & quot; povoleno přes pravé tlačítko menu tabulek ve stromu na levé straně aplikace.
• Přidali jsme (volitelný) schopnost zadáním webové služby Salesforce.com Endpoint URL. To vám umožní používat DataCleaner pro připojení k pískoviště prostředích Salesforce.com stejně podle svých vlastních koncových bodů.
• Podpora ElasticSearch byla vylepšena, což umožňuje vlastní mapování, stejně jako opětovné definice ElasticSearch Datastore nyní také pro vyhledávání a indexování.
• Odběr vzorků záznamů a výběr potenciálních duplicit ve funkci detekce Duplicate byla vylepšena, což vede k rychlejšímu konfiguraci, protože rozhodnutí přijatá během tréninku jsou více reprezentativní.
• Formát soubor modelu Duplicate detekce byl aktualizován, který odstranil potřebu samostatného souboru "referenční", aby zachránil v minulosti rozhodnutí školení. Kompatibilita s starý formát byl zachován, ale s použitím nového formátu přidává mnoho výhod pro uživatele zkušenosti.
• Opravy chyb:
• A problém nit hladovění byl opraven v DataCleaner monitoru. Dopad tohoto problému bylo skvělé, ale stalo se to jen ve vzácných a velmi míru případů. Pokud vlastní posluchač objekty na DataCleaner monitoru by hodit chybu, bylo by to za následek zdroj nikdy být uvolněny a zneškodnění vlákno z Quartz-plánovací bazénu na serveru. Pokud by se to stalo mnohokrát server mohl nakonec dojdou závitů v tomto fondu.
• vertikální menu na obrazovce výsledků je nyní dělá pořádnou práci zobrazování popisky komponent, které mají výsledky. To usnadňuje rozpoznat, které položky menu ukazuje na to, co položce výsledků.

Co je nového ve verzi 3.5.7:

• Transformace "Synonymum vyhledávání" má nyní možnost vyhledat každý žeton vstupu. To je užitečné, pokud děláte výměnu synonym v rozmezí hodnot dlouhého textového pole.
• Blokování provádění DataCleaner pracovních míst prostřednictvím webové služby monitoru pro to může někdy selhat s chybou způsobenou blokovací nitě. Tento problém byl vyřešen.
• Zlepšení byla vyrobena ve způsobu, jakým pracovní místa a sekvence komponent jsou uzavřeny / vyčištěna po realizaci.
• JNLP / Java WebStart verze DataCleaner bylo vystaveno chybou v Java Runtime způsobuje některé soubory JAR, aby byla uznána WEBSTART spouštěči, za určitých okolností. Tento problém byl vyřešen tím, že drobné úpravy na ty soubory JAR.
• Několik nefunkční odkazy v dokumentaci byla opravena.

Co je nového ve verzi 3.5.4:

• Nyní je možné skrýt výstupní sloupce přeměn , Skrytí neovlivní průběh zpracování vůbec, ale jednoduše skrývat z uživatelského rozhraní, a tak potenciálně dělat zkušenosti čistší, při interakci s dalšími složkami.
• Nová webová služba byla přidána k monitorování webové aplikace, která poskytuje způsob, jak pro Polling stav výkonu konkrétní pracovní místo.
• A chyba byla opravena, což sestavu HTML selhání u některých typů analýzy, kdy byly zpracovány žádné záznamy.
• A 6 dalších drobných chyba byla osloveni.

Co je nového ve verzi 3.5.1:

• Zachycení změnil záznamy:
• A nový filtr se přidá k tomu, aby postupné zpracování záznamů, které nebyly zpracovány dříve, např pro profilování nebo kopírování pouze upraven záznamy. Název nové filtry je zachytávání změnila záznamy, s odkazem na koncept zachycení změn dat.
• V pořadí provádění pracovních míst:
• DataCleaner monitor nyní fronty výkon na stejné pracovní místo, je-li spuštěna vícekrát. Tím je zajištěno, že nemáte náhodou spustit stejnou práci současně, což může vést ke všem druhům otázek, v závislosti na tom, co práce dělá.
• Drobné opravy chyb:
• Některé opravy chyb byl realizován.

Co je nového ve verzi 3.5:

• Některé průvodci jsou nyní k dispozici pro registraci úschova; včetně souborového nahrát na server pro CSV souborů, vstup připojení k databázi, vedené evidence pověřovacích listin Salesforce.com a další.
• Stavební práce čarodějové byly také rozšířeny o několik vylepšených funkcí; Volba distribuce hodnot a vzor hledání pole v Rychlém průvodci analýzy, zcela nový průvodce pro vytváření EasyDQ založený zákazník čistící pracovních míst a nových pracovních průvodce pro vypálení pracovních míst Pentaho Data Integration (více níže).
• Nyní můžete ad hoc dotaz libovolný datové úložiště přímo do webového uživatelského rozhraní. Díky tomu je snadné se dostat rychle, nebo ojedinělé nahlédnutí do údajů, aniž by zřizování pracovních míst nebo jiné spravované přístupy zpracování dat.
• Jakmile jsou vytvořeny pracovní místa nebo úschova, je uživatel veden k přijetí opatření s nově postavený objekt. Například, můžete velmi rychle spustit úlohu hned po je to postavené, nebo dotazu na datové úložiště poté, co je zapsáno.
• Správci nyní mohou přímo nahrát úlohy na úložiště, což je užitečné zejména v případě, že chcete ručně upravovat obsah XML souborů pracovních míst.
• Mnoho technických cruft je nyní ukryt ve prospěch ukazovat jednoduché dialogy. Například, když úloha je spuštěno velký ukazatel zatížení je znázorněno, a po dokončení výsledek se zobrazí. Pokročilý záznam obrazovka, která byla dříve tam může ještě být zobrazeny po kliknutí na odkaz pro další podrobnosti.

Co je nového ve verzi 3.1.2:

• Přidali jsme webovou službu při sledování Žádost o získání (seznam) metrických hodnot. To činí sledování ještě použitelný jako klíčové součásti infrastruktury, jako způsob, jak sledovat data (kvalita) a vystavit výsledky aplikací třetích stran.
• "Tabulka vyhledávání" komponenta byla zlepšena přidáním připojit sémantiku jako konfigurovatelné majetku. Použití spojit sémantiku můžete vyladit, pokud chcete, aby vyhledávání pracovat sémanticky jako LEFT JOIN nebo vnitřní spojení.
• Součásti EasyDQ byly modernizovány, přidávat další možnosti konfigurace a bohatšího deduplikace výsledek rozhraní.
• Vylepšení výkonu byli konkrétní zaměření tohoto vydání. Vylepšení byly provedeny v motorech DataCleaner dále využívat přístup zpracování streaming v určitých případech, které se v rozích nejsou zahrnuty dříve.

Co je nového ve verzi 3.1.1:

• Datum a možnosti analýzy čas vztahující byly rozšířeny a dodal, distribuce analyzátory čísel týdnu, měsíce a roky. Všechny analyzátory týkající se data a času jsou nyní seskupeny do submenu s názvem & quot; Datum a čas & quot; v & quot; Analyze & quot;.
• Na přání & quot; popisná statistika & quot; možnost byla přidána do analyzátoru číslo a datum / čas analyzátoru. Tato možnost přidává další metriky k výsledkům těchto analyzátorů, jako medián, šikmost, percentilu a špičatosti. Tyto metriky jsou nepovinné, jelikož jejich nároky na paměť je o něco větší než stávající metrik.
• Linky na časové ose grafech monitorovacího webové aplikace nyní mají malé tečky v nich. To je užitečné zejména pro grafy s málo (nebo dokonce jen jeden), pozorování v nich. - Poukázat na to, kde přesně pozorovací body jsou
• Dotaz analyzátoru při vyvolání ad hoc dotazy byly rovněž podstatně zlepšila. Nyní dotazy mohou obsahovat odlišný klauzule, * -wildcards, vnořené dotazy a jsou odolné proti chybám k otázkám textu případu.
• dva nové transformátory byly přidány pro generování UUID a pro generování časových razítek.

Co je nového ve verzi 3.1:

• Metric formule - rozpracovány Kvalita dat KPI:
• Nyní je možné stavět mnohem více rozpracovat údajů o jakosti KPI v monitorovacím webové aplikaci DataCleaner je. Uživatelské rozhraní umožňuje vytvářet složité vzorců v tabulkovém procesoru, jako vzorec stylu; pomocí proměnných shromážděných DataCleaner pracovních míst.
• metrické vzorce lze spojit libovolný počet metrik, konstant a operací, tak dlouho, jak to může být vyjádřena v matematické rovnici.
• Například - měření rychlosti duplicitní záznamy v procentech z celkového počtu záznamů. Nebo měří množství kódů produktů, která odpovídají na sadu několika smyčcových vzorů.
• Ad-hoc dotazování - jakéhokoliv datového úložiště:
• V DataCleaner 3.1 nyní můžete provádět ad-hoc dotazy na jakékoli datového úložiště! Dotazy mohou být vyjádřeny v prostém SQL a budou použity k databázím, jakož i souborů, databází NoSQL a další, které poskytují skutečně užitečnou mechanismus dotazu rozšířit do svého objevení a profilování dat zkušeností.
• Možnost dotazu je k dispozici také prostřednictvím webové služby pro monitorování uživatelům ADMIN roli. Dotaz je poskytován jako parametr HTTP POST nebo orgánu, a výsledek je poskytován jako XHTML stolu.
• Value dohazovač - nová možnost analýzy:
• Často budete mít pevnou představu, na které hodnoty by mělo být povoleno a očekávanou pro určité pole. V DataCleaner tam je vždy analýza hodnota opce Distribution, které by vám pomůže uplatnit své předpoklady. V DataCleaner 3.1 když máte přesnější nabídku - hodnota Matcher. Tato volba analýza umožňuje určit sadu očekávaných hodnot a poté provést rozdělení hodnoty, jako je analýza, konkrétně ověřit a zjistit neočekávané hodnoty.
• Kopírování, mazání a správa pracovních míst:
• Správa pracovních míst a výsledky v aplikaci DataCleaner monitoru se výrazně zlepšila. Nyní můžete kliknout na práci ve stránce Plánování monitoru, a najít možnosti, k dispozici pro operace, jako je přejmenování, kopírování, mazání a další řízení. Každá operace respektuje propojení s jinými artefakty na monitoru, jako například výsledky analýz, plány a další. To znamená, že řízení monitorovacího úložiště se stala mnohem jednodušší a zralé.
• Správa historie kvalitní údaje:
• Někdy máte před situací, kdy jste skutečně chtějí dělat monitoring s historickými daty! To by mohlo být, že máte historické vyklápění nebo zálohy databází, které chcete ukázat, a vyprávět příběh. Nyní můžete provést analýzu tohoto historického dat, nahrát je na DataCleaner monitoru, a pomocí nové webové služby, nastavte historické údaje o daném výsledku analýzy. To znamená, že vaše časové osy budou správně vykreslovat výsledky pomocí jejich předpokládané datum, ale s výsledky, které jste nasbírali možná v pozdější době.
• Klastru podpora plánovač (pouze EE):
• The plánovač DataCleaner monitoru byl externalizován, tak, aby mohl být nahrazen prostředky jednoduchou konfiguraci. V Enterprise Edition (EE) ze DataCleaner, zajišťujeme seskupený plánovač, který poskytuje možnost načíst rovnováhu a distribuovat své popravy přes cluster strojů.
• Single-signon (SSO) pomocí CAS (EE pouze):
• V Enterprise Edition (EE) na DataCleaner nyní poskytuje možnost single-signon pro aplikace monitoru. Nyní DataCleaner může být nedílnou součástí vašeho IT infrastruktura, bezpečnost-moudrý.
• ... A mnohem více:
• Výše ​​uvedené je jen shrnutí. Více než třicet problémy byly vyřešeny v této verzi. Řešili jsme několik žádostí přicházejících z fóra a komunity, a doporučujeme všem, aby tento prostředek používat jako prostředek pro změnu. Jsme velmi rádi, aby se vývoj DataCleaner být silně ovlivněn potoky v komunitě.

Co je nového ve verzi 3.0.3:

• Přidá služba pro přejmenování pracovních míst v monitorovacím úložišti .
• Můžete přistupovat to jako klidný webové služby nebo interaktivně v uživatelském rozhraní.
• Webová služba byla přidána pro změnu historického data o výsledku analýzy v monitorovací úložišti.
• Webová aplikace byla podána v souladu s dědictvím JSF kontejnery.
• Caching konfigurace ve webové aplikaci byl výrazně lepší, což vede k rychlejší načítání stránek a inicializační práce časy.

Co je nového ve verzi 3.0.2:

• Při spouštění úlohy v monitorovacím webové aplikace, panel auto-obnovuje každou sekundu získat nejnovější stav popravy.
• souborů na bázi úschova (například ve formátu CSV nebo Excel tabulek) s absolutní cesty jsou nyní správně vyřešen v monitorování webové aplikace.
• & quot; Vyberte si z klíč / hodnota map & quot; transformátor nyní podporuje vnořené vybrané výrazy jako & quot; Address.Street & quot; nebo & quot; OrderLines [0] .product.name & quot;.
• Mechanismus vyhledávací tabulky byly optimalizovány pro výkon, pomocí připravených příkazů při spuštění proti databázím JDBC.
• Správci nyní mohou stáhnout úschova souborů na bázi přímo z & quot; úschova & quot; strana.
• Zpracování výjimek v monitorování webové aplikace byla zlepšena trochu, takže chybové zprávy přesnější a intuitivní.