DedupeCopy

DedupeCopy je jednoduchý multi-threaded soubor nástroj kopie určený pro konsolidaci a restrukturalizaci rozlehlé souborové systémy.
Nejčastějším příkladem použití je pro zálohování dat do nového rozvržení, ignoruje duplicitní soubory.
Jiná použití jsou:
& Nbsp; 1. Získání souboru CSV popisující všechny duplicitní soubory
& Nbsp; 2. Porovnání různé systémy souborů
& Nbsp; 3. Restrukturalizace stávající sady souborů do různých rozložení (jako je seřazena podle prodloužení nebo naposledy modifikace)
Tento nástroj je * NOT * náhradní Robocopy nebo rsync, a nesnaží se naplnit roli této hře.
Stejně jako u všech kódem, který chodí souboru strom, použijte prosím s opatrností a očekávají, že vůbec žádnou záruku!
Příklady příkazů:
& Nbsp; Generování duplicitní zprávu souboru pro cesty:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p / Users / -r dupes.csv -m manifest
& Nbsp; Zkopírujte všechny * .jpg souborů z více cest ke konstrukci /YYYY_MM/*.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p C: fotky -p D: fotky -e jpg -R jpg: mtime -c X: fotky
& Nbsp; Zkopírujte všechny soubory ze dvou disků na jeden cíl, zachování cestu
& Nbsp; všechna rozšíření:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p C: -p D: -c X: -m X: manifest -R *: no_change
& Nbsp; Pokračovat v přerušené běh (za předpokladu, že "-m manifest" použitý v předchozím běhu):
& Nbsp; & nbsp; & nbsp; dedupe_copy.py -p / Users / -r dupes_2.csv -i manifest -m manifest
Následně zkopírujte různých zdrojů do stejného cíle, ne kopírování duplicitní soubory (2 zdroje a 1 cíl):
& Nbsp; & nbsp; & nbsp; 1.) První záznam se projevuje u všech zařízení
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ cíl share -m target_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source1 share -m source1_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ Source2 share -m source2_manifest
& Nbsp; & nbsp; & nbsp; 2.) Zkopírujte každý zdroj k cíli (s uvedením --compare tak manifesty z
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; jiné zdroje jsou načteny ale nejsou použity jako součást sady kopírovat a
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; -no-walk přeskočit re-scan zdroje):
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source1 share -c \ cíl share -i source1_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source2_manifest --compare target_manifest & nbsp; -no-walk
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ Source2 share -c \ cíl share -i source2_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source1_manifest --compare target_manifest -no-walk
Kompletní příklad:
& Nbsp; & nbsp; & nbsp;
& Nbsp; & nbsp; & nbsp; Za předpokladu, že začnete s sady souborů stanovených takto:
& Nbsp; & nbsp; & nbsp; C:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; fotky
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; nějaké fotky
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo1.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; D:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; fotky
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; copied_photo
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
& Nbsp; & nbsp; & nbsp; A spuštění příkazu:
& Nbsp; & nbsp; & nbsp; > Dedupe_copy.py -p C: fotky -p D: fotky -e jpg -R jpg: mtime -c X: fotky
Ty by skončit s následujícím (photo3.jpg byla pravda, duplikát):
& Nbsp; & nbsp; & nbsp; X:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; fotografie
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_08
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo1.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_09
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
Tento projekt je Bitbucket: http://www.bitbucket.org/othererik/dedupe_copy

Requirements:

• Python