RAID, 2x500 - jaky zvolit?

[Darth Maul]

Lidi a je ten narust vykonu (rychlosti) znatelny?Je to hloupa otazka, ja jenom jestli to stoji za to..

Stačí Ti aspoň orientačně třeba tohle?

[Paolo]

Pokud se z disků jen čte nebo jen na ně zapisuje, tak to jede jako blesk, ale ouvej, když má dojít k tomu aby se z RAIDu četlo a zároveň na něj zapisovalo, to už je jeden disk i 2x rychlejší (mám na ICH8R dva RAID5 s 3x320WD) rychlost odvozená z MB/s dle Total Commandera.

Jinak pod DOSem je to s RAID5 úplná tragédie a obě zmíněné pomalosti se na RAID1 neprojevují (otestováno na 2x500WD) a po této zkušenosti budu jeden RAID migrovat a druhý pak časem vyměním za 4x320.

[Petrik]

RAID5 ma pomaly zapis, to je bohuzel realita, takze ti moc neverim, kdyz pises, ze i zapis ti jede rychle. Zapis na RAID5 je vetsinou max polovina rychlosti cteni, ale muze byt i jen rychlost jedineho disku, cim vice disku, tim horsi. Kdyz se na zapisuje, musi se z nej zaroven i precist vsechny bloky, pak zapsat a pak zase precist nebo tak neco, je to docela slozite, nekde jsem o tom cetl...to kvuli tomu, aby byla zachovana integrita XOR souctu. http://www.storagereview.com/guide20...ReadWrite.html

Pokud se z disků jen čte nebo jen na ně zapisuje, tak to jede jako blesk, ale ouvej, když má dojít k tomu aby se z RAIDu četlo a zároveň na něj zapisovalo, to už je jeden disk i 2x rychlejší (mám na ICH8R dva RAID5 s 3x320WD) rychlost odvozená z MB/s dle Total Commandera.

Jinak pod DOSem je to s RAID5 úplná tragédie a obě zmíněné pomalosti se na RAID1 neprojevují (otestováno na 2x500WD) a po této zkušenosti budu jeden RAID migrovat a druhý pak časem vyměním za 4x320.

[jan555]

U RAID5 bez hot-sparu vidím další problém v době verifikace/rebuildu po složení pole, která je oproti RAID1 řádově delší. A pokud během těchhle operací klekne disk, zůstane z RAID1 bez čehokoliv ihned použitelný single disk, z RAID5 dost možná nic.

Dnes už jsou naštěstí dostupné dost velké disky pro RAID1, aby většině kapacita dostačila a naopak jsou dost levné disky, aby si pro RAID5 mohl kdokoliv dopřát hot-spare.

(mně RAID1 vyhovuje, do lepšího řadiče cpát peníze nebudu, ale naopak doplním externím RAID1 s scheduled backupem a mám klid, ceny externích boxů taky pěkně spadly )

[Fox!MURDER]

ufff to je mi protichudnejch poznatku ... taky jich par pridam


RAID0 - strip
- data se rozdeli na n casti, z nichz kazda se ulozi na jiny disk
rychlost: temer zdvojnasobeni sekvencnich read i write operaci, pri seeku zrychleni nulove.
redundance: nema redundanci. vypadek jedineho disku znici cele pole.
pozadavek: 2 a vice disku
kapacita: n*nejmensi disk

RAID1 - mirror
- vsechna data jsou ulozena ve stejne podobe na vsech discich
rychlost: pri dobrem raidici/sw raidu (fbsd6-gmirror je perfektni ukazka) muze zdvojnasobit rychlost pri seekujicim cteni. rychlost sekvencniho cteni a libovolneho zapisu zustava zhruba stejna - pozor! nezkrati samotny seek, jen zrychli hodne seekujici operace.
redundance: vypadek vsech disku, krom jednoho, je pripustny
pozadavek: 2 a vice disku
kapacita: nejmensi disk

RAID10 - stripped mirrors
- mirrory o q (q>=2) discich se spojuji do RAIDu 0
rychlost: zhruba kombinuje vyhody 0 i 1
redundance: vypadek vsech disku v jednom mirroru znamena ztratu dat
pozadavek: 4 a vice disku
kapacita: (n/q) * nejmensi disk

RAID5
- data se rozdeli na n-1 casti, ze kterych se pomoci postupneho XORovani vytvori redundantni data
pak se ukladaji v podobe (pet disku)

d1 d2 d3 d4 p
d2 d3 d4 p  d1
d3 d4 p  d1 d2
d4 p  d1 d2 d3
p  d1 d2 d3 d4

d1 - d4 jsou casti dat, p je parita
rychlost: tady to zacina byt slozitejsi ... co se rychlosti sekvencniho cteni/zapisu tyce a seekujiciho cteni, tak se vpodstate chova jako RAID0 z n-1 disku ... ovsem pokud zapisuje bloky dat mensi, nez je 1 blok tohoto raidu, musi se cely blok ze vsech n-1 disku precist, prepocitat redundantni data a znovu zapsat... (ale to opravdu jen v pripade nahodnych zapisu mensich bloku. pri sekvencnim zapisu mensich bloku to vetsinou radice/sw raidy resi tzv. extent cache, kam si ukladaji nekolik naposledy zapsanych bloku, aby nebylo nutne je znovu cist). muze mirne zatezovat CPU (Core Duo U2500 - 1.2GHz - 3GB/s)
redundance: vypadek 2 a vice disku znamena ztratu dat
pozadavek: 3 a vice disku

RAID 3
- stejny jako RAID 5, jen data se na disky ukladaji takto:

d1 d2 d3 d4 p
d1 d2 d3 d4 p
d1 d2 d3 d4 p
d1 d2 d3 d4 p
d1 d2 d3 d4 p

nevyhoda proti RAID5 je o neco mensi rychlost pri vypadku datoveho (ne paritniho) disku.

RAID 50 (a 30)
- je to vpodstate stejne jako u RAIDu 10, ale ve stripu se spojuji RAIDy 5 o q discich
rychlost: tady je to hodne osemetne ... a vyplati se zejmena pri spojovani poli na vice radicich.
redundance: vypadek dvou a vice disku z jednoho RAIDu 5, znamena ztratu dat
pozadavek: 6 a vice disku (sudy pocet)
kapacita: (n/q) * (q-1) * nejmensi disk

RAID 6
- velmi podobne RAIDu 5, ovsem data se deli na n-2 casti a pouzivaji se dva redundantni disky
rychlost: velmi podobne jako RAID5 s prihlednutim k mensimu poctu datovych disku. CPU zatezuje vice nez RAID 5 (Core Duo - U2500 1.2GHz - 1.4GB/s)
redundance: vypadek 3 a vice disku znamena ztratu dat
pozadavek: 4 a vice disku
kapacita: n-2 * nejmensi disk

JBOD (Just Bunch of Drives)
- jedna se o proste spojeni kapacity disku
rychlost: tady velmi zalezi na pristupu. pro sekvencni cteni/zapis je rovna rychlosti jednoho disku, pri nahodnem cteni zapisu zalezi na rozdeleni. pri opravdu nahodnem cteni i zapisu (a pro stouraly - stejne kapacite disku) by mel n krat znasobit rychlost.
redundance: zadna
pozadavek: 2 a vice disku
kapacita: soucet kapacity vsech disku

info o zatezi CPU plati pro SW based raidy (tj. ty implementovane na urovni OS, nebo ovladace (tzv. HostRAIDy - levne RAID radice a radice na zakl. deskach))

co se poznatku z realneho sveta tyce:
RAID5 opravdu nasobi rychlost sekvencniho zapisu (i cteni)
15x500G disk, 3Ware Escalade 95xx serie radic, 400MB/s cteni, 250MB/s sekvencni zapis.
RAID1 opravdu nezrychli sekvencni cteni jednoho streamu. vyzkouseno. zduvodneno. pri cteni 2 a vice streamu pomaha znacne.
RAID5 s jednim spare diskem se zda byt dostatecne bezpecnym (provozujem takovych raidu asi 40 a zatim vsechny prezily)
Kvalitni HW RAID radic udela stejnou sluzbu jako SW raid. vyhodou je hlavne snizeni zateze CPU, obcas jednodussi konfigurace a obcas vetsi moznosti, pripadne v nekterych pripadech (diky velke cache) vyssi rychlost. Na druhou stranu ovsem SW RAID (ten implementovany v OS) je uplne nezavisly na radici a tedy v pripade jeho odejiti, lze pole provozovat na jinem HW ... to neni vzdy pravda u HW raidu (nektere jsou vice kompatibilni, jine mene)

edit: mimochodem z linuxu mam overeno, ze mnohem vic, nez zmena raidu, nebo rychlejsi disky, pomuze rychlosti nahodneho cteni/zapisu dobre nakonfigurovany i/o scheduler ...

[Petrik]

Krasne vysvetlene, dekujeme
Par poznamek:
1) ty konfigurujes i/o scheduler v linuxu? ja myslel ze jde tak maximalne nejaky zvolit ...
2) rychlost zapisu RAIDu 5: kdyby to bylo se sekvencnim zapisem do RAIDu tak jednoduche, tak by mel preci dosahovat priblizne stejneho vykonu jako dosahuje stripe N-1, tedy -+ stejneho jako cteni. Tak to ale neni, vykon je temer polovicni (250 vs. 400). Paritu muze ukladat soubezne s daty a jelikoz je stejne velka, nemelo by to zabrat zadny cas navic....zrejmne tam ten radic / SW provadi jeste neco jineho a podle me to bude mit neco spolecneho se snahou o udrzeni konzistence pole v pripade padu....
3) Hlavni duvod, proc se nepouziva RAID 3, je ten, ze pri zapisu malych bloku je paritni disk brzda systemu a jelikoz je vzdy na stejnem disku, je to pri vice I/O pozadavcich problem. RAID5 ma distribuovanou paritu, takze tam toto nehrozi.
4) nekde jsem cetl ze nektere radice dokazi pri RAID-1 cist polovinu dat z jednoho a druhou polovin uz druheho, takze dosahuji podobneho vysledku cteni jako stripe.

[jan555]

ufff to je mi protichudnejch poznatku ... taky jich par pridam

Přidals . (byť chápu snahu, tak ty obecné specs jsou škoda místa - na webu jsou během vteřin mnohem detailnější a vzhledem k topicu je zbytečné řešit enterprise levely jako 50 nebo archiválie typu level 3, to už bychom tu rovnou mohli vysmahnout ty - řádově desítky! - existujících levelů)

Nebudu to nějak zvlášť rozebírat, ale jedno je důležité říct - nemíchejte jablka s hruškami, což se právě stalo. Ani nastavení řadičů ani reporty o výkonnosti NEJSOU aplikovatelné přes platformy a dokonce ani přes typy řadičů a co víc ani přes modely řadičů! Proto pokud se bavíme o desktop low-end řešeních RAIDu, NENÍ MOŽNÉ na ně aplikovat prakticky žádná podobná zjištění z prosumer nebo enterprise segmentu.

Kdybychom se bavili o slušných řadičích, tak vám také rovnou řeknu, ať se např. vykašlete na RAID5 a nahodíte rovnou RAID5EE a při dnešní ceně disků bych stejně z fleku řekl, ať si doma uděláte RAID1E0 (případně 01). Bohužel, ani na jeden z těchhle levelů nemají on-board řadiče nárok.

Kvalitni HW RAID radic udela stejnou sluzbu jako SW raid. vyhodou je hlavne snizeni zateze CPU, obcas jednodussi konfigurace a obcas vetsi moznosti, pripadne v nekterych pripadech (diky velke cache) vyssi rychlost.

Zásadní omyl. SW řadiče obecně HW řadičům odpovídají právě jen v základní funkčnosti, tzn. schopnosti poskytnout některé základní služby. Vlastnosti té služby jsou ale fakt jinde, viz ten odstaveček na začátku. I pokud vezmeš dva externí řadiče, se stejným feature-setem a cenou, tak jeden klidně rozseká ve výkonnosti druhý na kaši. Prostě proto, že má lepší procesor nebo algoritmus, nebo obojí. (RAID level říká jen princip, neříká už, jak cíle dosáhnout) Pokud se budeme bavit speciálně o level 5, tak tam je dobrý řadič (což je otázka už nějakých 10K) poznat tak, že kdo neviděl, neuvěří. A pokud si hodíš na SW řadič 10 disků do level 5, tak je takový řadič ve výkonu rozmasakruje v pohodě i se 3 disky - prostě je fajn, že SW řadiče dneska umí poskytnout v dostatečné kvalitě základní funkčnost, ale o nějakých výkonech tam řeč moc být nemůže. (právě to jsou ale řadiče, o kterých tu jde řeč ...)

[jan555]

4) nekde jsem cetl ze nektere radice dokazi pri RAID-1 cist polovinu dat z jednoho a druhou polovin uz druheho, takze dosahuji podobneho vysledku cteni jako stripe.

Takhle jsem to v reálu fungovat neviděl, samozřejmě lepší řadiče se chytají víc, ale ta logika nejde (a asi nemůže jít?) až tak daleko, aby byl schopný při random v realtime čase posoudit, který postup je u každého bitu/bit-setu rychlejší, tzn. imho to takhle nejde. (kdybys to někde našel, tak bych si to rád přečetl!)

Jiná srandička je RAID1E např. na ServeRAIDu 8i, který v pojetí právě IBMky (naopak třeba u Adaptecu to neplatí) zajistí read performance na úrovni RAID0. A když se to pak posune o level výš na 1E0, tak se při readu začnou dít HODNĚ zajímavé věci .

[Petrik]

To je zrejmne pokus o dost slusny flame, pokud SW radicem myslis i treba linuxovy MD RAID. Zasadni otazka: pracoval jsi nekdy s MD RAIDem v linuxu? Predpokladam, ze ne. Nova jadra umeji dokonce vychytavky typu 1E0 a pod, vykonem muzou byt dokonce pred HW radici, protoze jaksi nemaji zadne uzke hrdlo jako je napr. pomaly procesor na tom HW radici. Cena za to je vetsi zatizeni CPU, ale treba Athlon X2 3800+ dokaze generovat XORy rychlosti 6GBps (na jedno jadro), takze asi chapes, jak male je jeho vytizeni pri beznych rychlostech zapisu do pole. Dale se daji delat vychtavky typu RAID 3 z beznych disku a na paritni disk dat treba stripovane raptory, takove pole uz bude mit pomerne hodne rychly zapis. Dalsi vyhoda je ze MD RAID operuje na urovni diskovych oddilu, takze muzes kombinovat ruzne raidy na stejnych discich a pod. Dalsi vyhoda je IMHO provazanost RAID enginu s jadrem OS a hlavne s I/O schedulerem; umim si predstavit ze to pri velke I/O zatezi muze vyznamne pomoci, protoze I/O scheduler pracuje s jednotlivyma diskama a ne s jedinym polem takze muze lepe predpovidat a pod.

Zásadní omyl. SW řadiče obecně HW řadičům odpovídají právě jen v základní funkčnosti, tzn. schopnosti poskytnout některé základní služby. Vlastnosti té služby jsou ale fakt jinde, viz ten odstaveček na začátku. I pokud vezmeš dva externí řadiče, se stejným feature-setem a cenou, tak jeden klidně rozseká ve výkonnosti druhý na kaši. Prostě proto, že má lepší procesor nebo algoritmus, nebo obojí. (RAID level říká jen princip, neříká už, jak cíle dosáhnout) Pokud se budeme bavit speciálně o level 5, tak tam je dobrý řadič (což je otázka už nějakých 10K) poznat tak, že kdo neviděl, neuvěří. A pokud si hodíš na SW řadič 10 disků do level 5, tak je takový řadič ve výkonu rozmasakruje v pohodě i se 3 disky - prostě je fajn, že SW řadiče dneska umí poskytnout v dostatečné kvalitě základní funkčnost, ale o nějakých výkonech tam řeč moc být nemůže. (právě to jsou ale řadiče, o kterých tu jde řeč ...)

[jan555]

To je zrejmne pokus o dost slusny flame, pokud SW radicem myslis i treba linuxovy MD RAID.

Ne, to nemyslím. Moje chyba v zobecnění (a zřejmě také v tom, že se chci alespoň jakž takž udržet subjectu).

vykonem muzou byt dokonce pred HW radici, protoze jaksi nemaji zadne uzke hrdlo jako je napr. pomaly procesor na tom HW radici.

Tady by sis koledoval o flame ty ... (ale nebude, to není moje) Proto, co se tobě nelíbilo na tom, co jsem napsal, je jednoduché vysvětlení (viz výše) a není to záměrná dezinformace, což není případ téhle citace. Teoreticky je skutečně možné leccos, prakticky už je to horší. Nevím o tom, že by i zcela standardní IOP321 měl pro svůj účel slabý výkon a to je schopen obsluhovat pole s řádově větším počtem disků než můžeš na mobo kdy mít (a přitom má např. peak i/o spotřebu 1W). Pokud bychom se také bavili o procesoru jako slabším článku u čistě SW RAIDu, bude to především kvůli základním principům - např. nutnosti multi-překladu nebo nutnosti využívání zbytečně složité a nevyhovující architektury CPU. Ale to je snad jasné, proč dál asi může být SW RAID rychlejší jen teoreticky? Externí řadič profituje z vlastního procesoru (a věcí s tím spojených), u SW řadiče instrukce a data z portů na procesor levitují, nebo jak se tam dostanou? Nepotřebují a nevytěžují náhodou defacto kompletní hlavní cesty? Neznamená to náhodou latence, zátěž a omezení všeho ostatního? Ještě ti přijde, že SW řadič nemá žádné úzké hrdlo? Že je to zcela plnohodnotná alternativa?

Skutečně rád si přečtu (nemyšleno ironicky) nějaké materiály, kde je natestováno, že je SW RAID (samozřejmě v Linuxu) výkonnější než dedikovaný řadič a může tam být i vysvětleno, proč i Linuxové top-class enterprise servery jedou na dedikovaných FC řadičích s gigabyty cachí, proč nevím o žádném benchi, kde by zaznamenal SW řadič rekordy, atd. Zcela pochopím, že pokud sám provozuješ typicky file-server, že je to zcela dostačující a rozdíly nejsou zásadní, u většiny ostatních rolí bych si o tom dovolil zvesela pochybovat.