S3QL

S3QL podporuje Amazon S3, jakož i svévolným SFTP servery a efektivně poskytuje vám pevný disk dynamické, nekonečnou kapacitu, která lze přistupovat z libovolného počítače s přístupem na internet.
S3QL poskytuje standardní, plně vybavený souborový systém UNIX, který je koncepčně k nerozeznání od jakéhokoliv lokálního systému souborů. Kromě toho, S3QL má další funkce, jako je komprese, šifrování dat, de-duplikace, neměnných stromy a snapshotting, díky kterým je vhodný zejména pro on-line zálohování a archivace.
S3QL je navržen tak, aby ve prospěch jednoduchost a eleganci nad výkonem a funkcemi tečení. Péče byla přijata, aby zdrojový kód jako čitelný a provozuschopný jak je to možné. Detekce Solid chyb a zpracování chyb byly zahrnuty od prvního řádku a S3QL přichází s rozsáhlými automatizovaných testovacích případů u všech jeho složek.
Před souborový systém může být namontován, backend, který bude obsahovat údaje musí být inicializována. To se provádí pomocí mkfs.s3ql příkazem. Zde se pomocí Amazon S3 backend, a nikratio-s3ql-lopata lopata S3, ve kterém budou uloženy souborový systém.
mkfs.s3ql s3: // nikratio-s3ql-kbelík
Chcete-li připojit systém S3QL souboru uloženého v S3 lopaty nikratio_s3ql_bucket v adresáři / mnt / s3ql, zadejte:
mount.s3ql s3: // nikratio-s3ql-kbelík / mnt / s3ql
Nyní můžete instruovat svůj oblíbený zálohovací program spustit zálohování do adresáře / mnt / s3ql a data budou uložena Amazon S3. Až budete hotovi, souborový systém musí být odpojen s
umount.s3ql / mnt / s3ql

Vlastnosti :

• Průhlednost. Koncepčně S3QL je k nerozeznání od lokálního souborového systému. Například, že podporuje hardlinky, symbolické odkazy, úplná oprávnění UNIX, rozšířené atributy a velikosti souborů až 2 TB.
• Dynamic velikost. Velikost je S3QL souborového systému roste a zmenšuje dynamicky podle potřeby.
• Komprese. Před skladování, může všechna data komprimována s LZMA, bzip2 nebo LZ algoritmu.
• Šifrování. Po stlačení (ale před nahrávání), všechna data šifrována AES s 256 bitovým klíčem. Další SHA256 HMAC checksum se používá k ochraně dat proti manipulaci.
• Data de-duplikace. Pokud několik soubory mají shodný obsah, budou redundantní data budou uložena pouze jednou. To funguje ve všech souborů uložených v souborovém systému, a také pokud jen některé části spisů jsou shodné, zatímco jiné části se liší.
• neměnných Trees. Adresář stromy mohou být neměnná, takže jejich obsah již nemůže měnit jakýmkoliv způsobem. Toto může být použito k zajištění toho, aby zálohy nelze změnit poté, co byly vyrobeny.
• Copy-on-write / Snapshotting. S3QL mohou replikovat celé adresářové stromy bez použití jakékoliv další úložný prostor. Pouze když je upraven jeden z výtisků, část dat, který byl upraven zabere další úložný prostor. Toto může být použito k vytvoření inteligentní snímky, které zachovávají stav adresáře v různých časových bodech za použití minimálního množství prostoru.
• High Performance nezávislý na čekací doby v síti. Všechny operace, které nemají psát nebo číst obsah souboru (jako je vytváření adresářů nebo přesouvat, přejmenovávat a měnit oprávnění souborů a adresářů), jsou velmi rychlé, protože se provádí bez jakýchkoliv síťových operací.
• S3QL dosahuje tím, že uložením celý soubor a adresářové struktury v databázi. Tato databáze je místně mezipaměti a vzdálené kopie aktualizovaný asynchronně.
• Podpora pro připojení s malou šířkou pásma. S3QL rozdělí obsah souboru do menších bloků a vyrovnávacích pamětí bloky na místě. Tím se minimalizuje jak počet síťových operací potřebných pro čtení a zápis dat, a množství dat, která má být převedena, kdy pouze část souboru je číst nebo zapisovat.

Co je nového v této verzi:

• Pokusí se aktualizovat souborový systém, který je již na nejnovější revizi již činí místní metadata kopírovat nepoužitelný.
• Google názvy skladování nádoby s body již způsobit problémy s ověření certifikátu SSL.
• Opravuje pád při statvfs () je volána na téměř prázdném souborového systému.
• K dispozici je nová & quot; swiftks & quot; backend pro OpenStack / Swift serverech.
• Odstraňuje spor, který by mohl vést k mount.s3ql narazil s & quot; KeyError ve sbírkách / abc.py & quot;.
• Opravuje pád, který by mohl nastat, když se snaží uklidit po obdržení chyba připojení nebo serveru při nahrávání objektu.

Co je nového ve verzi 2.2:

• S3QL nyní používá připojení SSL ve výchozím nastavení a zkontroluje certifikáty serveru.
• race condition, která vyústila ve zjevné ztrátě dálkového metadat byla opravena.
• S3 backend nyní odstraní více úložišť objekty pomocí jedné žádosti, pokud je to možné, snížit latenci, provoz a počet žádostí o S3.
• S3QL je nyní schopen detekovat chyby serveru a přesměrování před všechna data byla odeslána na server.
• Nový "Rackspace" backend, který umožňuje specifikaci regionu skladovací objekt v odkládací URL bylo přidáno.
• mount.s3ql --compress Volba nyní umožňuje specifikaci úrovně komprese.

Co je nového ve verzi 1.15:

• Cyklistika záloh metadat při použití místního backend nyní trvá mnohem méně času.
• Je to již není nutné, aby S3QL a Python APSW být vázána na stejné SQLite sdílené knihovny.
• V mount.s3ql, pád při použití --metadata-upload-interval 0 byla opravena.
• Místo toho, aby zcela odpojení souborového systému (a opuštění přípojný bod nepřístupné), když je backend údaje chybí nebo je poškozen, S3QL nyní vrací chybu a přepne na read-only provoz.

Co je nového ve verzi 1.13:

• Tato verze opravuje chybu, která způsobila chybně metadata být zapsán out při použití nejnovějších eglibc verze.
• Je to řeší problémy při pokusu o přístup k adresáři v kořenovém souborovém systému, který byl nedávno odstraněn s s3qlrm.
• Podpora zdánlivý ACL byla odstraněna.
• Tato verze lepší pera kbelíky s názvy neplatný DNS.
• To bude opakovat, pokud DNS není k dispozici.

Co je nového ve verzi 1.11.1:

• Tato verze opravuje pád při použití S3 backend (regrese představil ve verzi 1.11), se zvyšuje minimální hlášen velikost souborového systému na 1 TB, a pracuje kolem df chybu, takže velikost je řádně hlášena.

Co je nového ve verzi 1.11:

• Metadata o uložených objektů je nyní rozdělena do několika oblastí, tak žádné pole je delší než 256 bajtů. (Tím S3QL kompatibilní s širší škálu poskytovatelů skladování.) SWIFT backend teď opakování, pokud obdrží 5xx chyby kódy ze vzdáleného serveru, a již se nezdaří při pokusu o nahrání dat s prošlou auth token.

Co je nového ve verzi 1.10:

• Na s3s, s3cs a GSS backends byly odstraněny. Pomocí nové --ssl možnost spolu s S3, S3C a GS backends místo.
• S3QL již udržuje konzistence záruk pro různé backends.
• Zvyšující se počet různých poskytovatelů skladovacích nabízet různé regiony, rozvázání pracovního poměru, a úrovní dostupnosti je tento již nebude proveditelné.
• Uživatelská příručka obsahuje novou sekci, & quot; důležitá pravidla, aby nedošlo ke ztrátě dat & quot;.
• Čtení je důrazně doporučeno.

Co je nového ve verzi 1.9:

• Tato verze je doba soubor již změnit při změně systému časové pásmo, opravy a zlepšuje contrib / benchmark.p, řeší & quot; příliš mnoho řetězcem přesměrování & quot; chyba, opakování při chybě 5xx serveru, a přidává experimentální nativní podporu pro OpenStack / SWIFT serverů a experimentální podporu proxy.

Co je nového ve verzi 1.8:

• & quot; ValueError: Nelze vypsat hodnoty NULL & quot; pád, kdy byl metadata souborového systému nahrál během heavy aktivita souborový systém byl opraven.
• s3qlcp a výpis adresáře výkon pro velmi velké adresáře byly vylepšeny.
• výkon rm regrese byla opravena.
• -. Blocksize byl přejmenován na --max-obj velikosti
• Některé pády, které se stalo v silně souběžné využití souborového systému byly opraveny.
• python-llfuse 0.37 je nyní používán.

Omezení :

• Stále existuje spousta chyb v kódu, a vy byste měli být připraveni řešit je. Nicméně, můžete si být jisti, že chyby (i když nepraktické) nebude ohrožovat vaše uložená data.