Raid 0-X, SW raid etc.

[Fox!MURDER]

Pro beznejsi pouziti ma IMO MD RAID vice kladu nez HW reseni, napr. cenu Dalsi nevyhoda HW RAIDu je, ze jejich nezbytne utility casto nefunguji pod free distrama jako napr. OpenSuSE ci ubuntu a pro zmenu parametru pole je nutne bootovat utility CD, coz je opruz a server je po tu dobu (klidne i 20 hodin na HP) down, navic clovek potrebuje prehistorickou CD-mechaniku. Dost mi to pripomina rozdily mezi proprientalnim reseni a opensource v ruznych jinch oblastech, kdy proprietalni je drahe, casto pouze jednoucelove, velmi nepruzne a casto vice buggy.

mno, pokud vezmu mainstream - LSI, Adaptec, 3Ware, Areca, tak se vsechny daj v pohode ovladat i z ubuntu/gentoo. obcas trosku problem s freebsd.
mimochodem lepsi radice od arecy jsou ultimatni v tom ze maji vlastni ethernet s telnetem/webem pristupnym nezavisle na OS ... (vubec se mi jejich radice libi cim dal vic)

[Jezevec]

Ono co se tyce ryznych closed reseni (a nemluvim jen o SW, ale obecne o reseni typu "cerna krabka"), mam posledni dobou cim dal vic pocit, ze cim drazsi a vic "profi" reseni si nekdo poridi, tim vetsi to bude pruser (a v mem pripade mluvim o HW+SW v cene jednotek MKc). Jakmile totiz nastane libovolna potiz, tak se zjisti ze dodavatel v CR umi nainstalovat, umi zaskrtit zaskrtitka, ale jinak je stejne vprdeli jako uzivatel, dodavatel v US/... prozmenu nema pocit, ze by zakazka za smesnych "par tisic" dolacu byla dostatecne zajimava, aby se problemem zabyval. Takze mate cosi, co nejak vetsinou funguje, ale rozhodne ne tak, jak by ste cekali.

Kdy sme u poli, tak mame zalohovani na pole R6 (je to MD1000 + srv), ktery je evidenene schopny dat vpohode 200MB/s. Ovsem pes je zakopanej v tom, ze taky je vpohode schopny davat i min nez 2MB/s, coz je pri obnove cehokoli ehm ... No a kolik to da, neumi nikdo ovlivnit, nikdo nam nebyl schopen rict, co udelat a jak, aby se z toho dal vyzdimat nejakej rozumnej prenos kdyz potrebujem. Jediny ceho sem se dobadal je, ze tam maj nejake shapper, aby srv moc pri zalohovani nevysavali. To je samo OK, ale presne do okamziku, kdy ten srv potrebuju rychle obnovit. Pak je to prostre strelba do davu naslepo - nekdy to jede, nekdy ne. Stopnout zalohovani na vsech strojich nepomaha a na nic lepsiho nikdo neprisel. Prca je, ze pri uvodnim syncu hdd to tech 200MB/s da dycky. Jinak to az na par musek jako reportnig funguje bezvadne, libovolnou zalohu mountnu a muzu se podivat na data behem vterin.

Proto radsi nadoma doporucuju co nejvic home made bastl, protoze to se da aspon spravit.

[Petrik]

mno, pokud vezmu mainstream - LSI, Adaptec, 3Ware, Areca, tak se vsechny daj v pohode ovladat i z ubuntu/gentoo. obcas trosku problem s freebsd.
mimochodem lepsi radice od arecy jsou ultimatni v tom ze maji vlastni ethernet s telnetem/webem pristupnym nezavisle na OS ... (vubec se mi jejich radice libi cim dal vic)

Jako ja verim, ze to jsou moc pekne hracky na hrani, ale porad by asi desilo, ze v pripade, ze ten pocitac v pocitaci, rozumej ten radic, umre a dodavatel s NBD zrovna jako na potvoru nema nahradni a ja ty data nutne potrebuju, tak jsem vime kde Navic pokud nepotrebuju vylozene giganticke pole, tak se uz dnes da uvazovat o nahrade temi SSD, ktere v MD RAIDu vykonove natrhnou pozadi libovolnemu HW radici s klasickymi HDD. Takovej RAID-10, ale i 5 z 6 nebo vice intelu X25-M musi davat neuveritelny IOps a MBps...Samozrejme se dohodneme, ze pro widle, kdyz je clovek musi vzit na milost, zadne jine rozumne reseni nez poradny radic neexistuje.

Mimochodem, abych tu porad jen nerozumoval, prvni vec, kterou je dobre u HW RAIDu s write-back cache udelat, je nastavit mu v linuxu NOOPnebo DEADLINE scheduler. Klasicky CFQ znacne snizuje vykon nevhodnym a zbytecnym preusporadavanim requestu. Totez plati i pro SSD. Naopak u MD RAIDu je potreba ponechat CFQ, protoze to je provadeno samostatne pro jednotlive disky.

[Fox!MURDER]

Jako ja verim, ze to jsou moc pekne hracny na hrani, ale porad by asi desilo, ze v pripade, ze ten pocitac v pocitaci, rozumej ten radic, umre a dodavatel s NBD zrovna jako na potvoru nema nahradni a ja ty data nutne potrebju, tak jsem vime kde Navic pokud nepotrebuju vylozene giganticke pole, tak se uz dnes da uvazovat o nahade temi SSD, ktere v MD RAIDu vykonove natrhnou pozadi libovolnemu HW radici s klasickymi HDD. Samozrejme se dohodneme, ze pro widle, kdyz je clovek musi vzit na milost, zadne jine rozumne reseni nez poradny radic neexistuje.

mno, rekneme, ze se v posledni dobe pohybuju stale v polich s radove TB dat a tam se SSD zatim moc nevyplati ...
samozrejme ze na databazi mame objednane 4x100G SSD ... (ktere kvuli trimu urcite skonci v mdraidu - ale premejslim, ze to s tim LSIckem zkusim srovnat)

[Petrik]

No ja bych rekl ze ani tak ne kvuli TRIMu, to je totiz u MD RAIDu jeste velky otaznik (mas jine info?), ale spise bych se obaval, ze ten HW radic bude ty SSDcka spise zpomalovat. Pokud jedno SSD da rekneme 10kIOps (ale ve spickach X25-M pri velke queue-depth klidne 40k), tak pri plne zatezi pri cteni to je rekneme neco kolem 40kIOps (max klidne 160k a vic), na coz se obavam bezne HW RAIDy jaksi uplne konstruovane nejsou. Nebo se pletu? MD RAID by zadne omezeni IOps mit nemel, samozrejme za predpokladu ze to CPU dokaze vygenerovat A pozor, predevsim u SSD se opet zacaly projevovat rozdily mezi jednotlivymi SATA radici, napr. nejnovejsi AMD se ukazuji jako pomalejsi oproti poslednim intelum. Jeste dodam, ze nase zkusenost ve firme s SSD pro MySQL je takova, ze SSD se i pri nejvetsi zatezi vpodstate flaka a krute to nestiha procak.

[e1]

K HW radičom (a nebavme sa o riešeniach za niekoľko mega, to je niečo úplne iné): ak sa jedná o radiče Adaptec, Areca, LSI, resp. ich OEM verzie (HP, IBM), tak tu problém s kompaitiblitou nie je. Aj keď radič odíde, druhý radič od toho istého výrobcu disky rozozná a bude to fungovať, dokonca s veľkou pravdepodobnosťou sa dá pole rozchodiť aj pod Linuxom ako SW RAID pole. Ovládače sú už dnes pre všetky distrá, dokonca nie je problém nájsť na webe aj zdrojáky, takže kto chce, ten si ovládače dokáže rozchodiť na hocičom. To že pre zmenu niečoho v poli treba vkladať CD a stroj je potom nedostupný na dlhé hodiny je blbosť. Dobré HW radiče fungujú tak že aj keď v systéme nie je inštalovaný ovládací SW, stačí vstúpiť pri boote do BIOSu radiča, nastaviť čo chceme a dá sa reštartovať. Väčšina úloh pobeží ďalej v pozadí, bez toho aby OS o tom vedel (niekoľkokrát som takto robil rebuild po výmene disku na 2TB RAID5 poli zo štyroch diskov počas ostrého chodu). Nedokážem si predstaviť že by som hodiny čakal na rebuild nejakého pola a dovtedy by bol stroj offline.
K možnostiam použiť SSD disky na radičoch. Novšie radiče s novým BIOSom podporujú SSD, dokonca už aj TRIM, ale nakoľko prenos môže byť naozaj brutálny, doporučuje sa obzerať po výkonnejších modeloch, resp. sériach ktoré sú priamo určené pre SSD. Väčšinou majú implementované ešte nejaké ďalšie vraj zrýchľujúce algoritmy pre prácu so SSD.
Čo sa týka samotných radičov, dnes už ceny padli. Ak niekto potrebuje spoľahlivé diskové pole pod Windowsom, určite sa do HW radiča oplatí investovať. Riešiť neskôr problémy s nejakým noname radičom na doske je na môj vkus moc veľké riziko, nehovoriac o jeho slabšom výkone.

[Petrik]

K HW radičom (a nebavme sa o riešeniach za niekoľko mega, to je niečo úplne iné): ak sa jedná o radiče Adaptec, Areca, LSI, resp. ich OEM verzie (HP, IBM), tak tu problém s kompaitiblitou nie je. Aj keď radič odíde, druhý radič od toho istého výrobcu disky rozozná a bude to fungovať, dokonca s veľkou pravdepodobnosťou sa dá pole rozchodiť aj pod Linuxom ako SW RAID pole.

Tak to bych chtel videt, konkretne u takovyho RAIDu-5/6.

Ovládače sú už dnes pre všetky distrá, dokonca nie je problém nájsť na webe aj zdrojáky, takže kto chce, ten si ovládače dokáže rozchodiť na hocičom. To že pre zmenu niečoho v poli treba vkladať CD a stroj je potom nedostupný na dlhé hodiny je blbosť. Dobré HW radiče fungujú tak že aj keď v systéme nie je inštalovaný ovládací SW, stačí vstúpiť pri boote do BIOSu radiča, nastaviť čo chceme a dá sa reštartovať.

Uznavam, ze s HW RAIDy moc velkou zkusenost nemam, ale to IMO nebude ten problem. Dostal jsem ukol pridat do jednoho starsiho HPcka disk (how-swap) a udelat z RAID-0 (jeden disk) RAID-1. Ovladaci utilita pro OpenSUSE samozrejme nebyla, verze pro SLES nesla nainstalovat (a neodvazil jsem to nejak nasilne hackovat). BIOS tohle prekonfigurovani pole samozrejme neumel, takze jsem musel nabootovat CD. Tam byla vpodstate jedina moznost, a to pridat ten novy disk do pole, nic jineho s tim delat neslo. Tak jsem dal pridat a zmacknul OK. Program napsal "please wait" a zacal neco delat...tento napis tam byl 20, slovy dvacet, hodin. Napadlo me, ze bych to asi mohl rebootnout (nasilne??) a ze by to radic delal na pozadi, ale to jsem se na ostrem dulezitem serveru bez kvalitni zalohy vazne neodvazil. Takze vysledek byl, ze server byl 20hodin down a neslo s tim delat. Nekup to, kdyz to je enterprise!

Väčšina úloh pobeží ďalej v pozadí, bez toho aby OS o tom vedel (niekoľkokrát som takto robil rebuild po výmene disku na 2TB RAID5 poli zo štyroch diskov počas ostrého chodu). Nedokážem si predstaviť že by som hodiny čakal na rebuild nejakého pola a dovtedy by bol stroj offline.

Kdyz ti funguje administracni app v OS, neni problem. Kdyz ne, tak muzes skoncit, jako ja.

K možnostiam použiť SSD disky na radičoch. Novšie radiče s novým BIOSom podporujú SSD, dokonca už aj TRIM, ale nakoľko prenos môže byť naozaj brutálny, doporučuje sa obzerať po výkonnejších modeloch, resp. sériach ktoré sú priamo určené pre SSD. Väčšinou majú implementované ešte nejaké ďalšie vraj zrýchľujúce algoritmy pre prácu so SSD.

Schvalne se po nejakych kouknu, ale obavam se, ze budou dost drahe. diky za tip.

Čo sa týka samotných radičov, dnes už ceny padli. Ak niekto potrebuje spoľahlivé diskové pole pod Windowsom, určite sa do HW radiča oplatí investovať. Riešiť neskôr problémy s nejakým noname radičom na doske je na môj vkus moc veľké riziko, nehovoriac o jeho slabšom výkone.

Jasne, pro wokna jina rozumna alternativa neni, na tom se dohodneme.

[e1]

1. Obnovenie HW RAID ako SW RAID: nerobil som to, ale vraj to už pri najpredávanejších radičoch ide. Konfigurácia by mala byť uložená aj na diskoch a potom to už je iba otázka múdreho SW a admina ktorý to rozchodí. Nehovorím že to bežne vie nastaviť 13 ročný školák.
2. Rebuild pola z RAID0 (dva disky - zrkadlenie) na RAID1 je dosť špecifická vec, totiž robíš z väčšieho pola menšie. Alebo ako RAID0 si myslel single disk? V tomto prípade sa totiž môže celá procedúra diať v pozadí aj počas behu OS. 20 hodín je inak dosť. Čo to bolo za disky?
3. Administračná aplikácia v OS nie je vôbec potrebná, nakoľko to je HW radič. Stačí mať nainštalované iba ovládače radiča, OS vôbec nevie čo sa na pozadí deje. Samotný rebuild môžeš spustiť z BIOSu radiča a ten po reštarte bude pokračovať. Už som dokonca takto inštaloval aj skúšobný OS. Pole sa ešte iba vytváralo ale ja som ňom už inštaloval.
4. http://www.adaptec.com/en-US/product.../?channel=tab4

[Aigor]

Je to tak, v případě potřeby ti ze supportu poskytnou i nástroj pro dump disků a SW lze obsah pole složit i bez řadiče. Sám jsem řešil obnovu R5 kdy mi vypadly dva disky naráz a podpora 3Ware reagovala prakticky obratem. Navíc kompatibilita je zpravidla jištěná mezi modelovými řadami a minimálně i obecně na vyšší verze řadičů. Po registraci u výrobce ti nabídne po dobu opravy náhradní řadič apod. Stejně tak obnovu na pozadí jsem taky absolvoval a krom mírného zpomalení při práci nebylo nic poznat. Mezitím můžež klidně přebootovávat mezi Linuxem a Win.

[Petrik]

1. Obnovenie HW RAID ako SW RAID: nerobil som to, ale vraj to už pri najpredávanejších radičoch ide. Konfigurácia by mala byť uložená aj na diskoch a potom to už je iba otázka múdreho SW a admina ktorý to rozchodí. Nehovorím že to bežne vie nastaviť 13 ročný školák.
2. Rebuild pola z RAID0 (dva disky - zrkadlenie) na RAID1 je dosť špecifická vec, totiž robíš z väčšieho pola menšie. Alebo ako RAID0 si myslel single disk? V tomto prípade sa totiž môže celá procedúra diať v pozadí aj počas behu OS. 20 hodín je inak dosť. Čo to bolo za disky?
3. Administračná aplikácia v OS nie je vôbec potrebná, nakoľko to je HW radič. Stačí mať nainštalované iba ovládače radiča, OS vôbec nevie čo sa na pozadí deje. Samotný rebuild môžeš spustiť z BIOSu radiča a ten po reštarte bude pokračovať. Už som dokonca takto inštaloval aj skúšobný OS. Pole sa ešte iba vytváralo ale ja som ňom už inštaloval.
4. http://www.adaptec.com/en-US/product.../?channel=tab4

1. ok, to zni jako dobre, netusil jsem, ze neco takoveho jde
2. psal jsem RAID-0 z jednoho disku, tedy vpodstate single disk. Cela procedura se tezko mohla dit na pozadi, kdyz to v BIOSu nastavit neslo (vazne ne) a ta stupidni aplikace na CD mi napsala "please wait". To jsem to jako mel natvrdo resnout? Kdyby se to pak alespon samo rebootlo, abych mohl jit domu, jenomze ja jsem jeste musel zmenit to pole z R0 na R1 zejo...takze jsem tam stravil hodinu cekani, ze uz to jako kazdou chvili prece musi byt. Byl to nejakej starsi SAS, mozna dokonce SCSI disk, tusim ze 10k. Ta doba me prave dostala nejvic, fakt by me zajimalo, ce to tech 20hodin provadelo...to me jen ujistilo o tom, ze takto uz nikdy vice. Byl to nejaky proliant, ne zrovna ten nejlevnejsi.
3.Rebuld s BIOSu sice spustit jde, pridat novy disk do pole ale ne, zkoumal jsem to fakt dlouho a vazne to neslo.

Jasne, ze kdybych mel tu obsluznou aplikaci v OS, tak by slo bez rebootu, jenomze kdo by platil za SLES, kdyz stejne dobre mu vyhovuje OpenSUSE? Mit tam MD RAID, tak to udelam pres SSHcko a fidli. Navic kdyz jsem si jen tak nahodou cetl seznam opravovanych bugu v ruznych HW RAIDech, tak me behal mraz po zadech, formulace jako "fixed bug causing total array lost when XYZ" je dost bezna. MD pouzivam na mnoha strojich, vpodstate na vsech ktery jsem stavel ci upgradoval a vzivote jsem o pole ci data neprisel vinou MD RAIDu. Jasne, obcas je trochu tvrdohlavy, ale to je spise tim, ze je extreme opatrny.

znacka: Ten radic v tom HP se jmenoval "Smart-array" To bych to rozslapal...

P.S.: ted jsem si vzpomnel, ze to psalo "Checking disk, please wait"....20h!

Je to tak, v případě potřeby ti ze supportu poskytnou i nástroj pro dump disků a SW lze obsah pole složit i bez řadiče. Sám jsem řešil obnovu R5 kdy mi vypadly dva disky naráz a podpora 3Ware reagovala prakticky obratem. Stejně tak obnovu na pozadí jsem taky absolvoval a krom mírného zpomalení při práci nebylo nic poznat. Mezitím můžež klidně přebootovávat mezi Linuxem a Win.

Jak se resi takova obnova R5 bez dvou disku? Obnovu na pozadi umi MD samozrejme take, to beru jako samozrejmost..akorat prebootovat do woken tedy uplne nejde ale po beznem rebootu rebuild normalne pokracuje dal..

[buh_vi]

2LM: Problém s parkováním hlaviček se dá vyřešit za pár minut pomocí WIDLE3. Dáš ho na třeba na Flashku, potom z ní dáš bootovat a nastavíš si čas po jaké době mají hlavičky parkovat. Testoval jsem to na WD15EARS a funguje to.