MooseFS

MooseFS je odolné proti chybám, síťový distribuovaný souborový systém, který se šíří dat přes několik fyzických serverů, které jsou viditelné na uživateli jako jeden zdroj & nbsp; pro standardní operace se soubory MooseFS se chová jako ostatní Unix-podobný souborových systémů.:
& Nbsp; * Hierarchická struktura (adresář strom)
& Nbsp; * Stores POSIX atributy souborů (oprávnění, poslední přístup a úpravy krát)
& Nbsp; * Podporuje speciální soubory (zařízení blok a charakteru, trubky a zásuvky)
& Nbsp; * symbolické odkazy (názvy souborů ukazuje na cílové soubory, nemusí být nutně na MooseFS) a pevné spojení (různé názvy souborů, které se vztahují ke stejným datům na MooseFS)
& Nbsp; * Přístup k systému souborů může být omezen na základě IP adresy a / nebo heslo
Charakteristické rysy MooseFS jsou:
& Nbsp; * Vysoká spolehlivost (několik kopií dat, mohou být uloženy na několika samostatných počítačů)
& Nbsp; * Kapacita je dynamicky rozšiřitelný připojením nové počítače / disky
& Nbsp; * Smazané soubory jsou uchovávány po nastavitelné doby (na úrovni souborového systému "koše")
& Nbsp; * koherentním snímky souborů, i když soubor je napsáno / přístup
MooseFS se skládá ze čtyř částí:
& Nbsp; * Správa serveru (master server) & ndash; jeden stroj řídit celý disk, uložení metadat pro každý soubor (informace o velikosti, atributy a umístění (s) soubor, včetně všech informací o non-běžné soubory, tj adresáře, zásuvek, potrubí a zařízení).
& Nbsp; * servery dat (dvou bloků servery) - jakýkoliv počet komodit serverů ukládání souborů dat a synchronizaci ji mezi sebou (v případě, má určitý soubor existovat ve více než jedné kopii).
& Nbsp; * Metadata záložní server (y) (metalogger server) - jakýkoliv počet serverů, z nichž všechny úložiště metadat changelogs a pravidelně stahovat hlavní soubor metadat; tak, aby podporovaly tyto servery na roli řídícího serveru při primární master přestane fungovat.
& Nbsp; * Klientské počítače, které přistupují (mount) soubory v MooseFS - libovolný počet počítačů používajících mfsmount proces komunikaci s řídícím serverem (přijímat a upravovat metadata) a chunkservers (vyměňovat aktuální data souboru).
mfsmount je založen na mechanismu FUSE (Filesystem v uživatelském prostoru), takže MooseFS je k dispozici na každém operačním systému s prováděním pracovním FUSE (Linux, FreeBSD, MacOS X, atd.)
Metadat je uložen v paměti řídícího serveru a současně uložit na disk (jako pravidelně aktualizované binární soubor a ihned aktualizuje přírůstkové protokoly). Hlavní binární soubor, jakož i protokoly jsou synchronizovány s metaloggers (pokud je k dispozici).
Datový soubor je rozdělen do fragmentů (kousky) s maximálně 64MiB každého. Každý blok je sám o sobě soubor na vybraných discích na datové servery (chunkservers).
Vysoká spolehlivost je dosaženo konfigurace tolik různých datových serverů jako vhodné realizovat "cíl" hodnotu (počet kopií, které, jak se udržet), stanovených pro daný soubor.
, jak systém funguje
Veškeré operace se soubory na klientském počítači, který montované MooseFS jsou přesně stejné, jako by byly s jinými systémy souborů. Jádro operačního systému přenáší všechny operace se soubory na FUSE modul, který komunikuje s procesem mfsmount. Proces mfsmount komunikuje prostřednictvím sítě následně s řídícími servery a datové servery (dvou bloků servery). Celý tento proces je plně transparentní pro uživatele.
mfsmount komunikuje s řídícím serverem pokaždé, když je potřebné operace na metadat souboru:
& Nbsp; * vytváření souborů
& Nbsp; * mazání souborů
& Nbsp; * čtení adresáře
& Nbsp; * čtení a změna atributů
& Nbsp; * změna velikosti souborů
& Nbsp; * na začátku čtení nebo zápisu dat
& Nbsp; * na jakýkoli přístup ke speciálním souborů na MFSMETA
mfsmount používá přímé připojení k datového serveru (bloku serveru), který ukládá příslušný kus souboru. Při psaní souboru, po ukončení procesu zápisu řídící server obdrží informace od mfsmount k aktualizaci délky do souboru a poslední čas změny.
Kromě toho, datové servery (dvou bloků servery) komunikovat spolu navzájem k replikaci dat, aby bylo dosaženo odpovídající počet kopií souboru na různých strojích.
& Nbsp;
Odolnost
& Nbsp;
Administrativní příkazy, aby správce systému zadat "cíl", nebo počet kopií, které by měly být zachovány, na úrovni jednotlivé adresáře nebo na-soubor. Nastavení cíle na více než jeden a mají více než jeden datový server bude poskytovat odolnost proti chybám. Je-li datový soubor uložen v mnoha kopiích (na více než jeden datový server), systém je odolnost proti poruchám nebo dočasné výpadky sítě jediného datového serveru.
To samozřejmě nevztahuje na soubory s "cílem" nastavena na 1, v tomto případě se soubor bude existovat pouze na jednom datovém serveru bez ohledu na to, kolik dat se servery nasazeny v systému.
Výjimečně důležité soubory mohou mít jejich cílem nastavena na číslo větší než dva, který umožní tyto soubory, aby byl odolný ke zhroucení více než jeden server najednou.
Obecně nastavení počtu kopií k dispozici by měl být jeden větší než předpokládaný počet nepřístupných nebo out-of-order serverů.
V případě, že jeden datový server, dojde k selhání nebo odpojení od sítě, jsou soubory uloženy v něm, že měl alespoň dvě kopie, zůstane přístupný z jiného datového serveru. Data, která se nyní v rámci svého cíle "budou replikovány na jiném dostupném datovém serveru znovu zajistit požadovaný počet kopií.
Je třeba poznamenat, že v případě, že počet dostupných serverů je nižší než "cíl", stanovenou pro daný soubor, požadovaný počet kopií nemůže být zachována. Stejně tak v případě, že je stejný počet serverů, jako je v současné době stanovené cíle, a pokud datový server dosáhl 100% své kapacity, bude moci začít držet kopii souboru, který je nyní pod jeho prahem gól kvůli další datového serveru přejdete do režimu offline. V těchto případech by měl být nový datový server připojen k systému, co nejdříve, aby se zachovala požadovaný počet kopií souboru.
Nový datový server může být připojen k systému kdykoliv. Nová kapacita bude okamžitě k dispozici pro použití ukládat nové soubory nebo uspořádat replikované kopie souborů z jiných datových serverů.
Nástroje pro správu existují dotaz na stav souborů v rámci systému souborů zjistit, zda některý z těchto souborů je v současné době pod jejich cíle (stanovený počet kopií). Tento nástroj lze také použít ke změně nastavení cíle, jak je požadováno.
Fragmenty data uložená v blocích jsou verzí, takže re-připojení datový server s starším kopií dat (jako kdyby to bylo v režimu offline na určitou dobu), nezpůsobí soubory, aby se stal nesouvislý. Datový server se bude synchronizovat se držet aktuální verze kousky, kde se budou zastaralé kousky odstraněny a volný prostor bude znovu vyčleněno držet nové kousky.
Poruchy klientském počítači (který běží proces mfsmount) nebude mít žádný vliv na soudržnost systému souborů nebo na provoz druhého klienta. V nejhorším případě může dojít ke ztrátě dat, která ještě nebyla odeslána z neúspěšného klientského počítače.
& Nbsp;
Plošina
& Nbsp; MooseFS je k dispozici na každém operačním systému s prováděním funkční pojistka:
& Nbsp; * Linux (Linux 2.6.14 a až se podpora FUSE součástí oficiálního jádra)
& Nbsp; * FreeBSD
& Nbsp; * OpenSolaris
& Nbsp; * MacOS X
Hlavní server, metalogger serveru a chunkservers lze také spustit v systému Solaris nebo Windows s Cygwin. Bohužel bez FUSE, že nebude možné připojit souborový systém v rámci těchto operačních systémů

Co je nového v této verzi:.

< li> Mezi nejdůležitější změny patří zpracování ve vícevláknových modulech, cíl a trashtime limitů v mfsexport.cfg pevné signál a jednoduchou kontrolu stažených souborů metadat.

Co je nového ve verzi 1.6.19:

• Podstatné změny byly zavedeny do metalogger stroji a metarestore nástroj pro lepší integritu metadat.
• přidala bar v CS průběhu skenování.
• název master je nyní vyřešen, pokud připojení selže.
• nová relace je vytvořen při předchozí ztratil.
• byly Mnoho dalších oprav chyb a vylepšení.

Co je nového ve verzi 1.6.17:

• V této verzi jsme představili automatickou správu cache dat .
• Je dost upgradovat jen hlavní server (žádné změny v bloku serverů "nebo klientů kódu byly provedeny).
• Mechanismus mezipaměti jádro vždy existuje, ale až teď mezipaměti vždy vymazány po otevření souboru. Nyní MooseFS řídí, zda to, nebo není jasné, o kontrole, zda byl soubor nebo ne upraven jiným klientem. Pojďme se podívat na některé scénáře.
• První scénář:
• 1. Počítač čte soubor X
• 2. Počítač B čte soubor X
• 3. Počítač chce přečíst soubor X - necháme cache (soubor nebyl změněn)
• Druhý scénář:
• 1. Počítač čte soubor X
• 2. Computer zapíše do souboru X
• 3. Počítač chce tor přečíst soubor X - necháme cache (soubor byl změněn, ale počítač ví o těchto změnách)
• Třetí scénář:
• 1. Počítač čte soubor X
• 2. Computer B zapíše do souboru X
• 3. Počítač chce přečíst soubor X - zde musíme nutit vyprázdnit mezipaměť (proto, že změny byly provedeny Computer B a počítače A neví o nich)
• V reálném prostředí se první a druhý scénáře se dějí daleko častěji než třetího scénáře, a to je důvod, proč je rozumné nechat obsah vyrovnávací paměti a získat celkový výkon systému.
• Samozřejmě tam jsou některé střední scénáře (ale také existovaly před), jako je tento:
• 1. Počítač se otevře soubor X a čte úplně (soubor zůstane v paměti cache)
• 2. Počítač B modifikuje soubor X
• 3. Počítač znovu přečte soubor X (ale bez zavření nebo obnovením - prostě pohybující se v poloze 0 a znovu četl to)
• V této situaci Computer by se stejné údaje jako v kroku 1, ale stejně i stalo v MooseFS před.
• Atribut nodatacache byl také představen, který zakazuje do mezipaměti souboru. Od verze 1.6.17 se soubory s nodatacache atributem se chovají jako soubory dělal ve starších verzích MooseFS. Tento parametr lze použít s nástroji mfsseteattr, mfsdeleattr a mfsgeteattr.
• Tato vlajka byla přidána preventivně a pravděpodobně nebude muset použít. Je-li po určité době se zdá, že je to ve skutečnosti k ničemu, že budou odstraněny. Ale pokud zjistíte jakýkoli případ / scénář, který požaduje vypnutí automatického vyrovnávací mechanismus, prosím podělte se s námi.