Dlouhodobá archivace dat

[Gregy]

Zdravím,
chtěl bych se zeptat jak řešíte/neřešíte archivaci dat. Třeba fotky, filmky, dokumenty, tedy data která jsou důležitá a můžou být i dost prostorově náročná.

Já bych to chtěl řešit tak že si koupím hdd (nebo víc), data tam nahraju a pak je zavřu do skříně. Je to dobré řešení? Je nějaké lepší pro domácí použití? Co se cd/dvd týče jsem dost skeptický jestli by třeba 10 let vydrželi. Ale co hdd? Vydrží?

Poté také v každém případě by bylo dobré používat nějaké md5 součty a kontrolovat periodicky data. Jak na to?

Děkuji za každý názor.

[Caleb]

Zalohovat internet (tj. hudbu a filmy) nemam zapotrebi, dulezita data (dokumenty, zdrojove kody atd) zalohuju tak, ze je mam v zaheslovanem archivu fyzicky na vice mistech - tj. na nekolika diskach v ruznych pocitacich, na vice mediich, uploadnute na ftp, mailu atd.
Nastesti sem nikdy nemusel resit archivaci nejakych "prostorove narocnych" dat, abych se priznal, krome uschovy na vice DVD mediich, ktera bych napr. jednou za rok prepaloval na nove, nebo nejake placene online uschovny dat me ani nic nenapada.

[jan555]

Obecně jsou disky pro archivaci médii zcela nevhodnými. Naopak optická média jsou obecně velmi vhodná. Pokud chceš mít slušnou úroveň jistoty, je třeba dodržet některé základní principy:

1. Zvol a natestuj co nejkvalitnější kombinaci vypalovačky a médií (média za 5 korun ovšem pro zálohování nejsou nejvhodnější, vhodná média při správném uložení nebudou mít s udržením dat v řádu deseti a více let problém), tuhle kombinaci neměň, při nutnosti změny znovu pořádně natestuj
2. Zálohuj 1 originál a 1-2 kopie, nejlépe vše s verifikací (verifikovat můžeš i na jiné mechanice)
3. Ukládej média v souladu s doporučeními výrobce (světlo, teplota, vlhkost)
4. Ukládej kopie v různých geografických lokalitách (při krádeži, živelné pohromě, neúmyslnému zničení, atd. máš redundanci a můžeš kopie doplnit)
5. Čitelnost archivovaných médií verifikuj - např. v periodě 2 let tak, že jednu kopii budeš verifikovat 2., 4., 6., atd. rok po archivaci a druhou kopii 1., 3., 5., atd. rok po archivaci
6. Veď si přesnou evidenci archívu
7. (pokud budeš dělat i incremental backupy, zvol si vhodný princip)

Z tohohle si vytvoř vlastní scénář, který jsi schopný dodržovat a za jehož dodržování ti data stojí. Problém DVD je omezená kapacita, dají se nahradit jinými optickými médii (Bluray/HD-DVD) nebo páskou - při dodržení principů viz výše však obecně považuji optická média za spíš vhodnější pro dlouhodobou archivaci než pásky. Pokud bys chtěl nutně využívat disky, je potřeba dodržet ty samé principy, ale ani s nimi nebude archivace ve stejné úrovni (ad objem dat na médiu) a pro střednědobou a dlouhodobou archivaci se disky nehodí vůbec, tzn. pro archivaci 10+ let o tom vůbec neuvažuj.

[MadCap]

ad zalohovanie na opticke media pridam toto:

testovane 31.10.2004

testovane dnes
Uplne ina mechanika bohuzial, taka co neni citaci sampion, skor zapisovaci tak ci onak mna vysledok uspokojuje

P.S.> hudbu zalohujem, pretoze hladat/zhanat/ripovat ju znova by bol nechutny vopruz + 40GB nearchivovanych fotiek mne na radosti nepridava

[Gregy]

Obecně jsou disky pro archivaci médii zcela nevhodnými. Naopak optická média jsou obecně velmi vhodná. Pokud chceš mít slušnou úroveň jistoty, je třeba dodržet některé základní principy:
.....
Pokud bys chtěl nutně využívat disky, je potřeba dodržet ty samé principy, ale ani s nimi nebude archivace ve stejné úrovni (ad objem dat na médiu) a pro střednědobou a dlouhodobou archivaci se disky nehodí vůbec, tzn. pro archivaci 10+ let o tom vůbec neuvažuj.

Proč se disk nehodí k dlouhodobé archivaci? vždy sem myslel že odchází používáním. Pokud ho zavřu do skříně co ho ohrožuje?
P.S: pokud zanedbám mechanické poškození (pozor padá skříň).

[MadCap]

pretoze je to magneticke medium, tie su principialne na tento ucel nevhodne ...

[Caleb]

Myslim ze stabilita toho magnetickeho zaznamu neni prilis dobra, po nejakem case by data uz nesla precist.

[jan555]

Proč se disk nehodí k dlouhodobé archivaci? vždy sem myslel že odchází používáním. Pokud ho zavřu do skříně co ho ohrožuje?
P.S: pokud zanedbám mechanické poškození (pozor padá skříň).

Používáním dochází předně k opotřebení, typicky ložisek, což není příliš zajímavé. Kdo se zálohováním a věcmi s tím spojenými zabývá ví, že nejlepší pro disk je běh 24x7, kdy jsou eliminovány spin-upy a spol. (to dává obecně disku nejvíc do těla) a navíc se případná chyba projeví obvykle dřív než je pozdě. Co se týče zálohování vlastního, je potřeba si uvědomit, že disk a data na něm jsou choulostivá i na jiné vlivy a to hlavní je, že se prostě stane (a ne výjimečně), že strčíš "do šuplíku" disk, který je v pohodě, za rok (nebo týden) ho připojíš a je vadný. Tohle se s kvalitními optickými médii jednoduše stát nemůže. Samozřejmě pokud naaplikuješ předchozí scénář na disky (tj. více disků, každý jiný model, uložené jinde, ve správných podmínkách a s častější verifikací než u optických médií), radikálně se ta pravděpodobnost sníží, ale nikdy se disk zálohovacím médiím vyrovnat nemůže (samozřejmě postupem let se to zhoršuje - asi neznáte 10 let starý disk, na kterém byste chtěli mít data, zato 10 let stará CDčka dnes v klidu přečtete). Disky nemáte šanci natestovat tak, jako optická média a optická média netrpí syndromem náhlé smrti. A na tom celém je nejhorší, že čím dál se jde v čase a čím víc se budete snažit, aby byly zálohy na discích spolehlivější, tím se to krutě prodražuje. To celé pouze kvůli benefitům v rychlejším a pohodlnějším uložení a obnovení dat, bohužel v zálohování je primráním kritériem dostupnost - a v té je atribut schopnosti dostat data vůbec zpět mnohem důležitější než atribut jak rychle.

Jinak ano, můžete ta média kombinovat - udělejte si backup s možností pseudo online recovery na 1 disk, k tomu ale opět 2 kopie na DVD a máte všechno naráz.

[Fox!MURDER]

nejlepsi by byl asi nejakej obrovskej PROM... skoda ze to nikdo nedela ...

[Gregy]

Používáním dochází předně k opotřebení, typicky ložisek, což není příliš zajímavé. Kdo se zálohováním a věcmi s tím spojenými zabývá ví, že nejlepší pro disk je běh 24x7, kdy jsou eliminovány spin-upy a spol. (to dává obecně disku nejvíc do těla) a navíc se případná chyba projeví obvykle dřív než je pozdě. Co se týče zálohování vlastního, je potřeba si uvědomit, že disk a data na něm jsou choulostivá i na jiné vlivy a to hlavní je, že se prostě stane (a ne výjimečně), že strčíš "do šuplíku" disk, který je v pohodě, za rok (nebo týden) ho připojíš a je vadný.
...
Jinak ano, můžete ta média kombinovat - udělejte si backup s možností pseudo online recovery na 1 disk, k tomu ale opět 2 kopie na DVD a máte všechno naráz.

Takže disk jako médium je nestálé a je potřeba ho doplnit. Jakým způsobem? A jakým způsobem zjistím že s diskem něco stalo? Existuje nějaký program který by mi spočítal nějaký checksum pro každý soubor a když bych chtěl disk zkontrolovat tak by to prostě jen přelít?

nejlepsi by byl asi nejakej obrovskej PROM... skoda ze to nikdo nedela ...

Můžeš osvětlit co je to PROM?

Myslim ze stabilita toho magnetickeho zaznamu neni prilis dobra, po nejakem case by data uz nesla precist.

Zkoušel jste někdo toto? nebo víte o nějakém testu? Docela by mě zajímalo jak rychle a jak moc se toto projevuje.

[Fox!MURDER]

Můžeš osvětlit co je to PROM?

PROM - Programmable ReadOnly Memory je vpodstate integrac, do ktereho se daji data jednou zapsat. Laicky si to muzes predstavit jako flashku zkombinovanou s CD-R. Mechanicky/elektricky je to flashka, co se zapisovejch-ctecich vlastnosti tyce, je to CD-R. Navic pokud se dobre pamatuju, funguje to tak, ze se uvnitr toho IO vpodstate prepali tranzistory, takze mi to prijde skoro i vecne. Navic jeste pristupova doba v radech ns -> velmi rychle ...

(ale mozna mi nejaka negativni vlastnost unika - mozna cena, i kdyz pri dnesni tranzistorovy hustote a tom, ze by to nemelo bejt zas prilis narocne na vyrobu)

[jan555]

nejlepsi by byl asi nejakej obrovskej PROM... skoda ze to nikdo nedela ...

Souhlas, proč to není běžně dostupné je ale asi každému jasné - skoro nikdo by si to nekoupil.

Takže disk jako médium je nestálé a je potřeba ho doplnit. Jakým způsobem?

Však jsem ti to popsal - kopie na disku nahradí jednu kopii na optickém médiu. Tzn. pokud máš cenná data a volil bys zálohování na DVD 1 originál + 2 kopie, bude to 1 originál na disk + 2 kopie DVD, atd.

A jakým způsobem zjistím že s diskem něco stalo? Existuje nějaký program který by mi spočítal nějaký checksum pro každý soubor a když bych chtěl disk zkontrolovat tak by to prostě jen přelít?

Bude to někomu možná znít primitivně a diletantsky, ale jako starý praktik se kloním právě k tomuhle řešení, které je zcela nejjistější, tzn. full recover (typicky copy na jiný disk). Doplnit se to dá o orientační délku copy (to může o disku něco říct, ale nic extra) a akustický test uchem (případně kontrola SMART, atd., ale pokud má disk odejít a má to bolet, tak vám to obvykle dopředu moc vědět nedá ...). V případě jiných médií je tohle řešení subj. také nejlepší (nakonec pokud se bere archivace vážně a je to aplikovatelné, dělají se ověření pomocí recovery i v enterprise segmentu - jen bohužel bývá často problém to stihnout za víkend ...).

[Fox!MURDER]

Souhlas, proč to není běžně dostupné je ale asi každému jasné - skoro nikdo by si to nekoupil.

to si myslim, ze by byla hlavne otazka ceny ... nevim, v jaky cenovy relaci by se to ted dalo vyrabet, ale za predpokladu, ze by to stalo rekneme radove stejne jako hdd, ale dalo se na to zalohovat prakticky 'forever', melo by to docela uspech ...

[Gregy]

Bude to někomu možná znít primitivně a diletantsky, ale jako starý praktik se kloním právě k tomuhle řešení, které je zcela nejjistější, tzn. full recover (typicky copy na jiný disk). Doplnit se to dá o orientační délku copy (to může o disku něco říct, ale nic extra) a akustický test uchem (případně kontrola SMART, atd., ale pokud má disk odejít a má to bolet, tak vám to obvykle dopředu moc vědět nedá ...).

No, tim že data zkopíruju z disku jinam asi nezjistím jestli se nepoškodila nebo ano? Jestli jo tak mi něco uniká.

[ArAnWe]

pridam kakpu do mlyna ....

co si myslite o zalohovani na flash pameti ... : dnes kdy pomerne velke flashdisky/SD/CF karty stoji pomerne slusnej peniz ... nemyslim si ze by to bylo vhodny na zalohovani fotoarchivu, ale na zalohovani dokumentu a podobne ne tak objemove narocnych veci ...

co si myslite o stalosti zalohy na takovychto mediich .. samozrejme pri dodrzeni spravnych skladovacich podminek

[MadCap]

No, tim že data zkopíruju z disku jinam asi nezjistím jestli se nepoškodila nebo ano? Jestli jo tak mi něco uniká.

jakmile tie data precitas > su ok teda pokial pominem, ze by si mal pretaktovany komp a chybne pamete

[jan555]

Tak asi ... Pokud chceš mít super sichr, můžeš je kopírovat v low-level 1:1. Co ti tedy uniká?

ArAnWe: bohužel flashky také odcházejí, tzn. žádné extra spolehlivé řešení to není. Samozřejmě pokud to bude slušná flashka (nějaký industrial standard nejlíp), je imho riziko poměrně nízké, určitě nižší než v případě disku. Jak je to se životností v čase a schopností udržet data nemám ponětí, ty industrial by to mohly mít ve specifikaci? Potenciální problém je v nejhorším scénáři, kdy pokud odejde disk nebo optické médium, je stále velká šance z toho nosiče (obvykle za nemalé peníze) data dostat, ne tak u flashky, kde si dost pravděpodobně neškrtneš. Na kritické scénáře je obecně vhodné myslet - že nastanou je málo pravděpodobné, ale stává se a pak je lepší být připravený. Ale to je pořád to samé dokola - jaká konkrétní data, jaká je jejich reálná cena a jaká je požadovaná úroveň pravděpodobnosti obnovy ...

btw: samozřejmě pokud data vyexpirují, resp. stanou se neaktuálními, je dobré to zjistit a dál se s nimi nemazat ...

[Gregy]

jakmile tie data precitas > su ok teda pokial pominem, ze by si mal pretaktovany komp a chybne pamete

Aha, takže se nemůže stát že se ty data pozmění? Narazil jsem totiž na flash disk který když se na něj něco nahrálo tak to šlo otevřít i překopírovat pryč ale byli to kraviny (třeba excel naplněnej rozsypaným čajem).

[MadCap]

v pripade toho flaash disku by som to vidle tak, ze tie data sa tam ani spravne nezapisali, preto nebolo mozne ich ani spravne precitat inak je samozrejme najlepsie overenie integrity dat hash (md5 suma)

[Fox!MURDER]

celkem si myslim, ze postaci i sfv, sice je to crc32, ne md5, ale ta pravdepodobnost, ze poskozeny data pujdou precist a zaroven budou mit spravny crc32 je celkem miziva ...

[tosuja]

Jedina spolehliva a overena technologie na dlouhodobe zalohovani jsou pasky.... Vyrobce garantuje pri spravnem ulozeni (teplota, vlhkost) a peci (pravidelne co tri roky tu pasku premotat) zivotnost 25 a vice let. Tady bych mel duveru, pasky uz jsou s nami pres padesat let.... Pevny disk ti to neda. CD by to mozna, mozna dalo, DVD+-R to temer urcite neda, o novejsich variantach ani netreba mluvit. Veril bych vice DVD-RAM.

Mimochodem, vite o tom, ze zaznamova vrstva DVD se chova jako tekute sklo? Jinak receno - kdyz ulozis disk nastojato, vrstva stece dolu. Meritelne rozdily v tloustce vrstvy "nahore" a "dole" byly zaregistrovany uz po roce

[MadCap]

preto ich mam na plocho
inak dvd-ram je imho spolahlivejsie a menej problemove ako paska ....

[Petrik]

Nekde jsem cetl ze DVDcka maji zivotnost jen nekolik let a treba ja svoje stara vypalovana CDcka ulozena v supliku vazne nerpectu, kdezto i velmi stare disky stale ano...

Obecně jsou disky pro archivaci médii zcela nevhodnými. Naopak optická média jsou obecně velmi vhodná. Pokud chceš mít slušnou úroveň jistoty, je třeba dodržet některé základní principy:

1. Zvol a natestuj co nejkvalitnější kombinaci vypalovačky a médií (média za 5 korun ovšem pro zálohování nejsou nejvhodnější, vhodná média při správném uložení nebudou mít s udržením dat v řádu deseti a více let problém), tuhle kombinaci neměň, při nutnosti změny znovu pořádně natestuj
2. Zálohuj 1 originál a 1-2 kopie, nejlépe vše s verifikací (verifikovat můžeš i na jiné mechanice)
3. Ukládej média v souladu s doporučeními výrobce (světlo, teplota, vlhkost)
4. Ukládej kopie v různých geografických lokalitách (při krádeži, živelné pohromě, neúmyslnému zničení, atd. máš redundanci a můžeš kopie doplnit)
5. Čitelnost archivovaných médií verifikuj - např. v periodě 2 let tak, že jednu kopii budeš verifikovat 2., 4., 6., atd. rok po archivaci a druhou kopii 1., 3., 5., atd. rok po archivaci
6. Veď si přesnou evidenci archívu
7. (pokud budeš dělat i incremental backupy, zvol si vhodný princip)

Z tohohle si vytvoř vlastní scénář, který jsi schopný dodržovat a za jehož dodržování ti data stojí. Problém DVD je omezená kapacita, dají se nahradit jinými optickými médii (Bluray/HD-DVD) nebo páskou - při dodržení principů viz výše však obecně považuji optická média za spíš vhodnější pro dlouhodobou archivaci než pásky. Pokud bys chtěl nutně využívat disky, je potřeba dodržet ty samé principy, ale ani s nimi nebude archivace ve stejné úrovni (ad objem dat na médiu) a pro střednědobou a dlouhodobou archivaci se disky nehodí vůbec, tzn. pro archivaci 10+ let o tom vůbec neuvažuj.

[jan555]

Jj, pásky nejsou tak spolehlivé, jak by se mohlo zdát, nakonec i proto jsou schémata a verifikace používané u pásek velmi složité, složitější než je potřeba u optických médií (rozhodně na jukebox neaplikujete to, co na páskový archív).

Osobně věřím na zálohy také DVD-RAM (Panasonicu), případně některým R archival grade médiím (např. TYG02, Verbatim UltraLife, atp.), každopádně je vždycky potřeba natestovat kvalitu zápisu v konkrétní kombinaci vypalovačky a médií ...

[Rainbow]

No ja napriklad takmer 10-rocne napalene CD Kodak precitam. A tiez o kusok novsie Imationy. Aj 10-rocne diskety idu bez problemov. A >20-rocne kazety s hrami pre ZX Spectrum tiez.

Ale vobec sa necudujem, ze ked sa napali Tesco Value DVD v napalovacke z Tesca na plnej rychlosti, tak to nejde precitat ani hned po napaleni...

Vseobecne medzi najspolahlivejsie patri magneto-opticky zaznam. Akurat to nie je "in".