Pcompress

Pcompress je open source příkazového řádku paralelní komprese, dekomprese a deduplikace utility, rozdělením vstupní data na kousky.
Pcompress nabízí Delta kompresi, možnost pevné blok, komprese metadat, podpora pro více algoritmů, včetně LZMA, LZMA-Multithreaded, PPMD, Bzip2 nebo LZ4, silný integrity dat, filtry, Matrix transformace, šifrování, ověřování zpráv, metadata, překryté zpracování, na zakázku alokátor, pevný režim, čalounění, a ještě mnohem více

Co je nového v této verzi:.

• To je hlavní zpráva představovat archivaci podporu založenou na Libarchive. Pokročilé techniky se používají k detekci typů souborů a použít vhodné algoritmy pro kompresi lépe. Filtry jako PackJPG pro obrázky ve formátu JPEG a Dispack pro spustitelné soubory se používají ke zlepšení compressability. Několik heuristika pomoci odhalit již komprimovaná data, a vyhnout se nákladným komprese kroků. Položky Archiv jsou také zařazeny do clusteru související obsah a dosáhnout lepší kompresi. Údaje rozdělení hranice pro více paralelních vláken jsou určeny z typu souboru a valivým změny mřížky. Mmap a Zero-Copy techniky jsou používány interně, kdykoli je to možné pro zlepšení výkonu. Některé optimalizace byly také udělat pro snížení využití paměti. Použití byla zjednodušena s nejčastěji používanými funkcemi nakonfiguruje automaticky podle úrovně komprese.
• S těmito změnami Pcompress může působit jako plnohodnotného archívů, jako je dehet nebo cpio a poskytují lepší kompresní poměr a lepší výkon než režim komprese single-souboru. Pcompress srovnání velmi příznivě s dalšími předními archivátor inženýrských sítí.

Co je nového ve verzi 2.4:

• Tato verze opravuje několik problémů, včetně některých koutek případ nehod a pár přetečení vyrovnávací paměti.
• Data Deduplikace je nyní možné provést pomocí bloků tak malé, jako 2kilobajt, poskytuje mnohem vyšší dedupe poměr než prakticky jakýkoli jiný deduplikace softwaru.
• Podobnost založené deduplikace výkonnost byla lepší.
• přesnost detekce Free paměť byla také vylepšena.

Co je nového ve verzi 2.3:

• Tato verze opravuje několik chyb a přináší několik vylepšení efektivity a výkonu.
• Detekce Účinnost Podobnost k podobnosti na základě téměř přesný deduplikace byla lepší.
• Na stejné požadavky čas paměť na indexu byla snížena.
• Přesnost údajů rozdělení mezi závity byla lepší.
• vytržení a výkon indexování byly vylepšeny a výpočet KMV Sketch je nyní přesnější.
• Tato verze se pohybuje všechny základní funkce se do sdílené knihovny v rámci přípravy na rozhraní API, která bude zavedena v budoucích verzích.

Co je nového ve verzi 2.2:.

• Jedná se především o vydání s opravami chyb
• Je to řeší některé pády s neplatným vstupem a stavět problémy na Debian6 a starší non-SSE4 procesorů.
• podobnosti odpovídající Min-heap založený na Delta kódování byl vylepšen a udělal rychlejší a přesnější.
• Přesnost škálovatelné segmentovaných globální deduplikace byla dále vylepšena být větší než 95%.
• byly přidány další testcases.

Co je nového ve verzi 2.1:.

• Tato verze přidává mnoho oprav a vylepšení výkonu
• Přesnost najít duplikáty globální dedupe byla lepší.
• SHA256 je nyní výchozí blok hash algoritmus pro dedupe, s možností jej odděleně změnit z ověření kus hash.
• Celkově lze říci, mnoho vylepšení výkonu byly provedeny, s lepším paralelismus, více SSE vektorizace a rychlejší třídění a zlepšení zpracování segmentu hash seznam souborů, což má za následek menší I / O a méně náhodných přístupů.
• Chyby ve výpočtu v paměti, je velikost index byla stanovena, aby se zabránilo prasknutí volné RAM a odkládání na disk.