Profi zalohovaci masina

[Voky]

zdravim

tak jsem v praci kritizoval nas samorobo zalohovaci system a dostal jsem za ukol vybrat masinu ktera by to delala poradne. Na neco jsem koukal ale nejsem z toho moc moudry.

Situace je takova
v siti je asi 10 serveru s OS jak win tak linux
a zalohu si predstavuji 1 x za tyden kompletni zaloha a kazdy den prirustkova zaloha.
Data maji celkem cca 2TB

financni limit neni ale zase nevyhazovat penize.
stacilo by me treba i postouchnout na co se mam kde koukat.

[Marty]

Primárně potřebuješ software.
Profi zálohovací software se skládá z serverové části a tzv. agentů, které slouží pro online zálohování různých systémů (DB, ERP, OS...), pokud to se standardními prostředky není možné.

Následně potřebuješ hardware. Určitě dobrý nápad je pořídit samostatný zálohovací server, na kterém poběží serverová část zálohovacího řešení. Dále v rámci HW potřebuješ úložiště. Tam už se meze financí vůbec nekladou
Nejjednodušší řešení je v dnešní době zálohování metodou D2D aneb disk-to-disk - disky jsou levné a DAS pole pořídíš za pár šupů. Další varianta je trochu šetřit a ubrat na komfortu práce se zálohami - pořídit páskovou mechaniku, resp. autoloader. Pásková mechanika je jednoduchý "kazeťák", autoloader je zařízení, do kterého narveš X páskových kazet a např. týden se o to nemusíš starat.

Takové pěkné rozumné řešení z hlediska HW je zálohy odkládat na diskové pole a např. po týdnu odlejvat na pásky (také z důvodu rychlosti). Obnova pár dní po provedení zálohy je pak operativní - z diskového pole, a z pásek se může stát časem archiv (když jednou za čas sadu pásek odložíš do trezoru, je to také rozumné řešení).

Předpokládám, že v práci nemáte SAN, to by pak bylo ještě víc možností - kdyžtak to rozebereme.



A ke konkrétním řešením:
SW:
- EMC Networker
- Symantec Backup Exec
- CA ArcServe Backup nebo jak se tomu dnes říká
- Symantec/Veritas NetBackup
- IBM/Tivoli Storage Manager
(to jsou z těch větších, z menších např. EMC Retrospect)

Jinak počítej, že takovýhle SW vyjde na desítky tisíc a každý zálohovací modul stejně tak.

Co se týče HW, tak je to víceméně jedno, mrkni třeba na Delly, nakonfiguruj si nějaký levný 1U stroj s 2 disky, k tomu přihoď HBA a hloupé diskové pole a máš základ. Časem můžeš dokoupit tu páskovou mechaniku. - to je takové rozumné minimum.

Pokud to chceš brát hodně vážně, bylo by asi dobré konsolidovat datová úložiště na všech serverech - postavit SAN, tedy přihodit do každého serveru FC HBA, pořídit jedno velké chytré diskové pole s advanced featurami a k tomu třeba druhé hloupé na odlejvání záloh. Typicky: na chytrém diskovém poli můžeš udělat klon nebo jinou podobnou entitu ze všech dat a to pak v klidu odzálohovat na "hloupé" pole. Finta je v tom, že víceméně nepotřebuješ moduly na zálohy Exchange, SQL, ... ale i to je relativní. Treba to odskúšať. Cesta to ale není špatná.


Mno, trochu jsem se rozepsal, tak se ptej kdyžtak...
EDIT. k těm penězům, za rozumné minimum k investici do zálohování v menší firmě (do 5-10 serverů) považuju cca. 0.25M Kč.

[Fox!MURDER]

Ono asi dost zalezi na tom, co si pod 'profi zalohovacim strojem' predstavujes a co ocekavas, ze se jeho nakupem zmeni ...

[Doktor-Prase]

Jenom user-experience:

V práci máme řešení jak nastiňoval Marty HDD+pásky, máme Hourly.0/1, Daily.0/1 a Weekly.0/1 dostupné z HDD, vše starší se zálohuje na pásky. Z pohledu uživatelského komfortu je to maximálně pohodlné.

[xvojta]

Marty i Fox maji pravdu Je otázka, co přesně a u kterých mašin to má v reálu dělat.

Networker znám velmi dobře, Symantec slušně, kdybysme se domluvili myslím, že bych ti případně mohl "zajistit" testovací verzi...

Možnosti jsou široké, máš-li zájem, tak SZ

[Voky]

tak dobra neco teda popisu.
nektery masiny jsou nase datovy uloziste, na nekterych je ucto ... a zbytek jsou servery na ktery je webhosting.
jinak jsem si neco predstavoval ze na kazdy masine pojede nejaky klient a na " zalohovacim serveru" pojede serverova aplikace ktera to bude vse primarne ridit.

Tak mam vybrat HW kde bude dejme tomu 1xquad 8TB diskovy pole a paskova mechanika a pak tam soupnu operak/linux/ a ten soft a po nastaveni to bude makat ?

proste to co mame ted je ze se na kazdÿm serveru zazalohuje zaloha a pak se posle pres ftp na nas zalozni server ale server jsou tak pretizeny a trva to dlouho a jeste odchazeji disky. tak jsem chtel masinu ktera si ty data nakopiruje k sobe tam skomprimuje a a ulozi na dane misto.

a je mi jasny ze todle za 100k nekoupim.

[Fox!MURDER]

co se ceny tyce imo zalezi na tom, jak moc si chces hrat a jak moc trvas na znackovym serveru.

Pokud chces enterprice reseni, tak zkus to co navrhoval Marty, pokud chces setrit a delat si to 'po svym', tak muzes vzit libovolnej server (idealne hardwarove stejnej/podobnej jako servery co uz mate) s dostatecnou diskovou kapacitou a paskovkou, nahod libovolnej linux a nainstaluj Baculu. Ja osobne s ni zkusenosti nemam, ale uz z vice zdroju jsem slysel, ze je to vybornej software, kterej zalohovani resi komplexne se vsim vsudy. Nemam prehled v paskovejch mechanikach a paskach, ale bez ni box, kterej to bude ridit pro 10 serveru i s 8TB kapacity (6x2TB, nebo 10x1TB) kolem tech 100k imo poridis ...

[Marty]

Já bych zkusil pro začátek server Dell PowerEdge R300 s nějakým řadičem pro připojení pole a k tomu přímo připojené diskové pole Dell PowerVault MD1000. Té ceny se neděs a zavolej si do Dellu, že zvažuješ tohle a něco od HP/IBM/Sunu, ať ti pošlou nabídku. Budeš se divit, co umí s cenami.

S tím se IMHO pod 100K dostaneš. Druhá věc je tedy SW.
Základní verze EMC Networkera se tuším bude pohybovat od 30 do 50 tisíc, zkus se zeptat rovnou v Dellu - s EMC se paktují a třeba by ti to přihodili k tomu HW za nějakou fér cenu. Případně to pošlou přes partnery. V takovém případě to obvykle jde i s nějakou základní konfigurací.

[Fox!MURDER]

ma smysl kupovat externi pole pro jeden box, pokud neni v planu nejakej extremni upgrade? :-O

[Voky]

ty radis foxi vzit masinu rovnou s diskovym polem nez takle externe ?

[Fox!MURDER]

ty radis foxi vzit masinu rovnou s diskovym polem nez takle externe ?

Voky: to byla otazka do plena, nevidel jsem v tom smysl, tak jsem se zeptal ...
pak jsem si vsim, ze dell nedela jednosocketovy stroje s tolika SATA/SAS portama... takze pokud dell, tak stejne nejspis musis, jak psal marty. disky v jednom boxu s hba maj tu vyhodu, ze ke kazdymu mas separatni linku a tim padem je bottleneck na radici a melo by to bejt decentne levnejsi. externi box zase snadno pripojis ke dvema strojum ... teda, predpokladam, ze to ten Dell umi ...

[Marty]

Jo, to by měl umět. Jen samozřejmě nejde sdílet LUNy, pač je to fakt hloupá krabice.

Pokud "vše v jednom" tak pak Sun Fire 4500, do toho se v 4U vejde 48 disků ale tuším se to už nevyrábí...

Já jsem externí pole doporučil z důvodů ekonomických a z důvodu rozšiřitelnosti. Pokud se do budoucna plánuje SAN nebo nějaké jiné vychytávky, ponechal bych základní server úplně jednoduchý pro eliminaci možné chyby a to, co se může měnit, vytěsnil ven - tj. jednou tohle DAS pole může odejít do služeb online archivu a může být nahrazeno něčím chytřejším pro zálohování metodou klonů/snapshotů atd.

Ale jak tak nad tím přemýšlím, nebylo by od věci pozvat si nějakého obchoďáka firmy, co nabízí zálohovací řešení, a nechat si vypracovat nabídku. Já byl např. spokojen s firmou StoryFlex.

[Fox!MURDER]

Jo, to by měl umět. Jen samozřejmě nejde sdílet LUNy, pač je to fakt hloupá krabice.

Pokud "vše v jednom" tak pak Sun Fire 4500, do toho se v 4U vejde 48 disků ale tuším se to už nevyrábí...

Já jsem externí pole doporučil z důvodů ekonomických a z důvodu rozšiřitelnosti. Pokud se do budoucna plánuje SAN nebo nějaké jiné vychytávky, ponechal bych základní server úplně jednoduchý pro eliminaci možné chyby a to, co se může měnit, vytěsnil ven - tj. jednou tohle DAS pole může odejít do služeb online archivu a může být nahrazeno něčím chytřejším pro zálohování metodou klonů/snapshotů atd.

Ale jak tak nad tím přemýšlím, nebylo by od věci pozvat si nějakého obchoďáka firmy, co nabízí zálohovací řešení, a nechat si vypracovat nabídku. Já byl např. spokojen s firmou StoryFlex.

kdyz prave sdileni lunu (coz by SAS afaik mel podporovat), je 'to zajimavy' ...
co se ekonomickych duvodu a rozsiritelnosti tyce, nejak si to neumim dat dohromady ... ekonomicky je vyhodnejsi koupit jednu krabici o 10k drazsi, nez krabice dve minimalne o 20k drazsi ... krom toho je reseni v jedny bedne technicky jednodussi, coz je imo plus.
co se rozsiritelnosti tyce, tak radic s dostatecnym poctem SAS interfacu (popripade druhej radic) muze, mimo interniho pole (ktere samozrejme diky vetsimu poctu linek bude rychlejsi), obslouzit i stejnou bednu jako je ten dell storage externe ... tj. vyhodu, pokud to umi, bych videl v tom, ze muzes casem ty backup boxy zdoublovat ...

btw. marty, ten sun je fakt peknej co se rozsiritelnosti tyce 48x2TB SATA disk, to uz je slusnej archiv

[xvojta]

Voky, pokud bys chtěl networker, tak řekni, umím lepší ceny než Dell
ale počítej k tomu i nějakou práci na instalaci a nastavení, nebo školení pro nějakého admina... až tak triviální to není

[Jezevec]

Ad MD1000: Co se tyce pripojeni, lze krabici rozdelit na 2 a kazdy pripojit k jinemu stroji, eto vsjo, nic vic to neumi. Na zalohovani ovsem dostacuje (pouzivame). Neumi to 2 nezavisle linky (= zlomite kabl a nefunguje, ale to u zalohovani neni kriticky).

Co se tyce SW, tak pouzivame http://www.falconstor.com/ (ipstor), ovsem zalezi kolik $$$ do toho hodlas dat. Toto je pravdepodobne nejlevnejsi reseni ktere umi CDP, totez od EMC stoji nekolikanasobek. Je to vcelku admin friendly. SW na serveru bezi na centosu, zalohu lze pripojit pres FC(pokud mas)/iSCSI k libovolnemu stroji (trebas i k desktopu, kdyz potrebujes jen neco vykopirovat).

Edit: pro info, pokud potrebujes zalohovat DB, tak si pokud mozno domluv nejaky testovaci prednakupni provoz, aby sis overil jak moc se zalohovani bude bit s provozem (zatez CPU, zatez provoznich HDD, pripadny blokovani useru v DB ...).

Edit2: Obchodakum moc never, ty toho nakecaj ... (vsechno umej, nic neni problem ...)

Edit3: Jeste doplnim nejake featury tohoto typu zalohovani (tyce se predevsim SW). Zalohu netreba nikam rozbalovat => netreba mit dalsich XGB prostoru. V nouzi (poskozene provozni disky) lze zalohu primo pouzit jako provozni - zaloha je "default" RW, ovsem zapisy se ukladaji zvlast, takze se zaloha jako takova neposkodi, ulozena data lze kdykoli odmaznout. Zelezo bez problemu utahlo provoz cca 100GB databazi s 100 - 120 userama (ovsem SQL server ma 64GB RAMky, takze vetsina se samo odehravala tam). SW umi i vytvorit "klasicky" disk a poskytnout jej jakemukoli stroji (iSCSI) a pripadne jej sam zalohovat.

Ma to ovsem i nejake mouchy - prakticky nulovy reporting adminum - o tom ze zaloha neprobehla se musite poinformovat vlastni aktivitou. Pocet snapu je omezen natvrdo na max 255 (to asi bude vetsinou stacit bohate). Ovsem potiz (opet nijak nereportovana) nastane v situaci, kdy mate pripojeny snap ktery je prave posledni a je k odmazani => nesmaze se => pokud je politika nastavena "uchovej poslednich 255 snapu", tak se prestane zalohovat.

Co se agentu tyce, nejlevnejsi je "nekonzistetni" pro win = zaloha ve stavu jako kdyz natvrdo widle vypnete => z 90% OK, ale ... (vhodne na datove disky, kde jsou jen soubory), existuje drazsi verze pouzivajici VSS, existuje agent pro exchange, mssql .... ovsem ty jsou mnohonasobne drazsi. Diky moznosti poskytnout disk je mozne zalohovani kombinovat s vlastnimi prostredky - napr tuxe na routeru zalohuju rsyncem 1x denne, jelikoz to neni nic kritickyho, nic se tam nemeni a skoda licence za agenta.

[Marty]

Ad MD1000: Co se tyce pripojeni, lze krabici rozdelit na 2 a kazdy pripojit k jinemu stroji, eto vsjo, nic vic to neumi. Na zalohovani ovsem dostacuje (pouzivame). Neumi to 2 nezavisle linky (= zlomite kabl a nefunguje, ale to u zalohovani neni kriticky).

Jj, děkuji za potvrzení z praxe, to jsem si myslel.
Ad ostatní, máš víceméně pravdu ve všem jenom doplním ty obchoďáky, dá se s trochou snahy dostat se k technikovi, který ti už reálně s něčím pomůže.

[Jezevec]

Jop, ja to MDcko zkoumal a ptal sem se prave na ten druhej konektor, estli kdyz si k tomu koupim druhej kabl a pripojim to na druhej radic, kterej stroj ma, to bude fungovat a dozvedel sem se ze nikoli . Je to zkratka hloupa krabice na disky.

Mozna jeste dodam, zalohujeme +- 2TB ostrych dat a mame licenci na 10TB prostoru, vypada to, ze budem muset jeste rozsirit na aspon 15TB (napr DB se zalohuje co 15", uchovava se hodina, hodinove zalohy den, denni 14 dnu a mesicni rok), zbytek se backupuje hodinove s podobnou historii, systemy se backupujou 1x denne s historii 14 dnu.

BTW: CDP umi jeste "nahlidnout" do libovolnyho okamziku (ms), ovsem neni zarucena konzistence dat.

[Fox!MURDER]

Jop, ja to MDcko zkoumal a ptal sem se prave na ten druhej konektor, estli kdyz si k tomu koupim druhej kabl a pripojim to na druhej radic, kterej stroj ma, to bude fungovat a dozvedel sem se ze nikoli . Je to zkratka hloupa krabice na disky.

On by v ty hloupy krabici stejne mel bejt SAS expander, diky kterymu by to melo jit, jen je mozny, ze to nejak blokujou, aby meli co prodavat ve vyssich radach ...

[Fox!MURDER]

Jinak jak tu padla zminka o Sunu, tak bacha na jejich support plany. Ted jsem se docela pobavil. Mame par Sunu se zaplacenym Bronze supportem. V jednom odesly tri vetraky (dohromady uz v 9ti serverech odeslo asi 5 vetraku za cca 2 roky - v noname serverech na stejne serverovne snad jeste ani jeden z cca 30 serveru za 10 let).
Volame support - ano, prijede technik, vetraky vymeni - 300EUR :-O. Rikame, kurna, to je trosku moc, tak my si koupime vetraky do zasoby a budem si je menit sami, u vetraku to snad zvladnem .... 10 vetraku = 1300 EUR .

[xvojta]

Jinak jak tu padla zminka o Sunu, tak bacha na jejich support plany. Ted jsem se docela pobavil. Mame par Sunu se zaplacenym Bronze supportem. V jednom odesly tri vetraky (dohromady uz v 9ti serverech odeslo asi 5 vetraku za cca 2 roky - v noname serverech na stejne serverovne snad jeste ani jeden z cca 30 serveru za 10 let).
Volame support - ano, prijede technik, vetraky vymeni - 300EUR :-O. Rikame, kurna, to je trosku moc, tak my si koupime vetraky do zasoby a budem si je menit sami, u vetraku to snad zvladnem .... 10 vetraku = 1300 EUR .

tu kalkulaci mi vysvětli - 300 € větrák a 1300 celkem nebo je v tom nějaká sleva? nějak mi to nevychází

[jan555]

stacilo by me treba i postouchnout na co se mam kde koukat.

Spousta dobrých rad, soft si musíš vybrat podle současných požadavků a potenciálních požadavků do budoucna v kontextu ceny, do toho bych se moc nevrtal.

Co se týče hardware, tak ti řeknu, jak bych tohle řešil za rozumných nákladů a s velkou spolehlivostí já:
- brand "slušný" server (redundantní hot-swap zdroje, slušný řadič, atd.)
- 2x HDD RAID1 na system
- RAID5 (disků podle potřeby) + 2 hot-spary na online backupy (s rezervou pro rozšíření do budoucna, nebo server se systemovým polem a na data externí enclosure)
- páskovou mechaniku (podle potřeby kapacity a rychlosti) s loaderem
- 24x7 on-site s rozumným response time na všechno
- selekce dat k backupu (proč zálohovat data bez hodnoty ...)
- selekce dat jen k on-line backupu / i k off-line (proč zatěžovat pásky nekritickými daty ...)
- selekce dat k archivaci (proč archivovat jiná data než ta, která to vyžadují či to u nich vyžadováno je legislativou)
- výběr vhodných zálohovacích schémat (s podporou v softu) a archivačních pravidel pro různá data (pravděpodobně nebudete chtít zálohovat user shary tak, jako účto)
- zpracování a testování disaster recovery planu (to je skoro nejdůležitější ze všeho )

Za server to nemusí stát švestku (v tomhle případě není potřeba extra silné železo a nebránil bych se klidně i SATA diskům), za mechaniku a software je to jen o tom, co potřebujete, chcete a jste ochotni zaplatit .

Postup jednoduchý - zadávačka s požadavky, rozeslat klidně na 10 dodavatelů, sebrat nabídky, vyhodnotit, vybrat si celé řešení od někoho, nebo třeba jen nasazení a soft a železo si koupit levněji sami.

[jan555]

Rikame, kurna, to je trosku moc, tak my si koupime vetraky do zasoby a budem si je menit sami, u vetraku to snad zvladnem .... 10 vetraku = 1300 EUR .

No, ono když se člověk podívá, kolik stojí v retailu některé Delty nebo Sanyo-Denki (obvykle tam bývají), tak už se moc nediví. Mívají na větrákách o hodně menší marže, než na disku, u kterého přepíší firmware (nebo ani to ne), našroubují do šuplíku a přilepí vlastní P/N .

[Fox!MURDER]

No, ono když se člověk podívá, kolik stojí v retailu některé Delty nebo Sanyo-Denki (obvykle tam bývají), tak už se moc nediví. Mívají na větrákách o hodně menší marže, než na disku, u kterého přepíší firmware (nebo ani to ne), našroubují do šuplíku a přilepí vlastní P/N .

nevim, na delty, ani sanyo-denki jsem nekoukal, ale na vetrak me proste 130 EUR prijde presprilis (mozna kdyby byl pozlacenej) a obavam se ze konkurencni vetraky za 15 EUR slouzi mnohem lepe a dele ...

jinak v pripade ty reklamace to je tak, ze pokud se vymeni jen 3 vetraky, tak to stoji 130 EUR za dopravu technika (flat-rate) a 180 EUR za hodinu prace na vymene (nebo tak nejak). kdyz se koupi vetraky, tak je to 130 EUR za vetrak ...