Akú stripe size pre RAID5 pole na server?

[e1]

Akú stripe size pre RAID5 pole na server? Má možnosť nastaviť od 4KB až po 1MB.

HW SATA controller: Adaptec 2420SA
Array: RAID5, 4x Samsung HD753LJ (750GB)
Total useble capacity: 2,05 TB
Primary usage: web server
Secondary: data server
File system: ReiserFS
OS: Linux

Potrebujem aby zvládal naozaj rýchlo čítať malé súbory (web stránky), to že nebude zvládať kopírovať 200 MB/s ma netankuje. Akú veľkosť stripe size doporučujete?

[Aigor]

Doporučuju http://www.pcguide.com/ref/hdd/perf/...fStripe-c.html, je to tam IMHO dobře popsáno.

[e1]

No, s mojou slabou angličtinou som z toho pochopil jednu pre mňa podstatnú vec. Keď mám stripe size nastavený na 32KB, tak vlastne každý dátový blok má v mojom prípade 96KB. Takže keď zapíšem 10KB HTML súbor, tak mi zožerie z diskov takmer desaťnásobok miesta. V tomto prípade by bolo ideálne keby som zmenšil stripe size cca. na úroveň 4-16KB, čo nie je problém, ale ono to má asi aj nejaký negatívny dopad, len neviem presne aký.

[Aigor]

Ne tak úplně. Pokud se nepletu, tak při 4x HDD na RAID5 a stripe 32kB zabere každý datový blok 32kb+32/3, protože na 3 disky zapíše 3x různé bloky a na 4.disk jejich paritu. Na každý z datových bloků pak vychází tedy 1/3 parity, tedy cca 43kB.

Osobně bych velikost stripe příliš neřešil. Pokud zvolíš dost vysokou, pak menší soubory zaberou více místa. Pokud příliš malou, výkon pole se bude ztrácet na seeku a režii bloků. Vem odhadem průměrnou velikost souborů webserveru, které budou uloženy a nejbližší vyšší stripe bych nastavil.

[e1]

No, nastavil som to na 32KB a zatiaľ to vyzerá byť OK.

livecd / # hdparm -tT /dev/sda
/dev/sda:
Timing  cached reads: 3400 MB in 2.00 seconds = 1699.96 MB/sec
Timing buffered disk  reads: 284 MB in 3.00 seconds = 94.59 MB/sec

Neviem akú majú výpovednú hodnotu tieto údaje ale snať to na webserver bude stačiť.

[Petrik]

Na rychle cteni malych souboru potrebujes, aby byl kazdy maly soubor nejlepe pouze na jednom disku a pole tak bylo schopne cist az 3 soubory najednou, coz je idealni stav. Cim vetsi stripe size, tim je vetsi pravdepodobnost, ze male soubory budou pouze na jednom disku a nebudou rozesete po celem poli, coz je vyhodne u velkych souboru, ktere pak lze cist rychle. Potiz je, ze pokud je jeden soubor na vice discich soucasne, musi vsechny zucastneme disky seekovat, coz trva dele, nez kdyz seekuje pouze jeden disk. Takze stipe size doporucuji nekde kolem 256kB-512kB, napr. pro linuxove MD-RAIDy se na server doporucuje hodnota 256kB. tebou zvolena velikost 32kB se hodi na cteni velkych souboru, napr. na praci s videem.

Mimochodem: pokud ti jde o vykon, tak doporucuji RAID-1, tam mas zaruceno, ze jde vzdy cist tolik ruznych souboru naraz, kolik je disku v poli, takze pri pouziti 4 disku by server mohl cist naraz 4 ruzne soubory, za predpokladu, ze ten RAID radic neni uplne hloupy, napr. zminovany linuxovy SW MD-RAID toto umi.

Ne tak úplně. Pokud se nepletu, tak při 4x HDD na RAID5 a stripe 32kB zabere každý datový blok 32kb+32/3, protože na 3 disky zapíše 3x různé bloky a na 4.disk jejich paritu. Na každý z datových bloků pak vychází tedy 1/3 parity, tedy cca 43kB.

Osobně bych velikost stripe příliš neřešil. Pokud zvolíš dost vysokou, pak menší soubory zaberou více místa. Pokud příliš malou, výkon pole se bude ztrácet na seeku a režii bloků. Vem odhadem průměrnou velikost souborů webserveru, které budou uloženy a nejbližší vyšší stripe bych nastavil.

velikost stripe size skutecne nema zadny vliv na to, kolik mista zaberou soubory, to je veci cluster size resp. block size u filesystemu. OS nema ani paru, jaka je stripe size, kdyz nemluvime o linuxovem MD raidu.

[Fox!MURDER]

Potiz je, ze pokud je jeden soubor na vice discich soucasne, musi vsechny zucastneme disky seekovat, coz trva dele, nez kdyz seekuje pouze jeden disk.

ano, ale ten rozdil neni tak zavratnej ... tady dost zalezi na radici, jestli tim neco ziskas ... u levnejsich radicu zvysis seektime na seektime disku, ktery byl 'nejdal' (coz je statisticky v 33% pripadu prave ten disk, ze ktereho ctes)... u lepsich radicu tim muzes ztratit vyhodu cteni z vice mist naraz, ale tam je zase pravdepodobnost 33%, ze dalsi vec, kterou chces cist, je na tom samem disku ...

mimochodem stripe size ma nejvetsi vliv na random write malych souboru ...

co se webserveru tyce, doporucuju, nez koumat nad raidem, osadit server dostatkem pameti (4GB navic uz dnes stoji par kacek) ... minimalne v linuxu je cache pomerne efektivni ...

btw. treba XFS jde tweaknout na specifickou konfiguraci raidu, ale jakej je vyslednej efekt jsem nikdy nemeril ... nak nebyl cas ...

a hdparmem teda moc rychlost cteni malejch souboru nezmeris (ono tim teda nezmeris skoro nic :-O )

[e1]

Nakoniec sme tam nechali 32KB strip size, vyzerá to byť ok, server už je v serverovni.

Čo sa týka RAMky je mi jasné že tej nikdy nie je dosť, žial 4GB RAM do Dell PowerEdge SC1420 stojí cca. 7-8 tisíc (už som zháňal), od Dellu 13, takže musíme si vystačiť s 2x 512MB. Inak z tohoto hľadiska sa nemôžem sťažovať, zatiaľ nepociťujem potrebu väčšej pamäťe. Na serveri beží cca. 20 webov, najnavštevovanejšia má cca. 700 návštevníkov a 5000 pageviews denne, potom je ešte zopár medzi 100-300 visitors a ostaytné stránky do 30-50 denne, takže žiadna extra záťaž sa nekoná. Skôr by som uprednostnil druhé CPU, ale pri jeho cene radšej počkám rok alebo dva a poskladám komplente nový server s nejakým štvorjadrom alebo osemjadrom (podľa toho čo bude in) aj s minimálne 8GB RAM a bude kľud.

[Fox!MURDER]

Nakoniec sme tam nechali 32KB strip size, vyzerá to byť ok, server už je v serverovni.

Čo sa týka RAMky je mi jasné že tej nikdy nie je dosť, žial 4GB RAM do Dell PowerEdge SC1420 stojí cca. 7-8 tisíc (už som zháňal), od Dellu 13, takže musíme si vystačiť s 2x 512MB. Inak z tohoto hľadiska sa nemôžem sťažovať, zatiaľ nepociťujem potrebu väčšej pamäťe. Na serveri beží cca. 20 webov, najnavštevovanejšia má cca. 700 návštevníkov a 5000 pageviews denne, potom je ešte zopár medzi 100-300 visitors a ostaytné stránky do 30-50 denne, takže žiadna extra záťaž sa nekoná. Skôr by som uprednostnil druhé CPU, ale pri jeho cene radšej počkám rok alebo dva a poskladám komplente nový server s nejakým štvorjadrom alebo osemjadrom (podľa toho čo bude in) aj s minimálne 8GB RAM a bude kľud.

jestli mas nekde moznost, tak si pujc normalni DDR2 ECC Reg moduly a zkus je v tom ... podle me fungovat budou a pokud se neco vys*** tak se daj vzdycky vytahnout ... u nas stoji 2GB modul cca 2100 bez DPH ...
nevim co tam mas za weby a jak narocny, ale pokud to neni neco extra, tak druhym procesorem moc neziskas ... na takhle (ne)vytizenej webserver je to dost overkill ... i forum s celkem vytizenou databazi ma prumer pres 90% idle... (a to je tu ta navstevnost jeste o neco vetsi ...)

[e1]

Už som skúšal RAMky aj non-ECC aj ECC, aj som na tom prerobil okolo 700 Sk ale neuspel som.
Výkon servra by sa mi hodil pre Gallery2. Zmenšovanie niekoľko GB fotiek už dokáže jedno CPU vyťažiť viac než slušne + nočné generovanie štatistík návšetvnosti stránok za posledný deň/týždeň/mesiac/rok je tiež trochu náročné na výkon. Inak je to v poho, okrem týchto prípadov nepociťujem chýbajúci výkon.

[Fox!MURDER]

Už som skúšal RAMky aj non-ECC aj ECC, aj som na tom prerobil okolo 700 Sk ale neuspel som.
Výkon servra by sa mi hodil pre Gallery2. Zmenšovanie niekoľko GB fotiek už dokáže jedno CPU vyťažiť viac než slušne + nočné generovanie štatistík návšetvnosti stránok za posledný deň/týždeň/mesiac/rok je tiež trochu náročné na výkon. Inak je to v poho, okrem týchto prípadov nepociťujem chýbajúci výkon.

Bacha, ty pameti musi byt registered ... jen ECC nestaci ... a registered bez ECC se nedelaj ...

[e1]

Chipset by mal podporovať aj non-ECC, skúsil som nešli, potom ich vymenil za nejaké Kingston pamäťe ktoré boli určite ECC (už sa napamätám na presný typ) a tie tiež nešli, tak som ich predal so stratou. Potom som už začal hľadať overené pamäte a všetky ktoré som našiel sú cenou niekde úplne inde: http://www.kingston.cz/pameti/pameti...25743A0048FC51

Tie ECC ktoré som skúšal boli non-Registered: KVR667D2E5/2G. Zároveň som našiel KVR400D2D8R3/2G za 1200 bez dane. Sú to ECC Registered pamäťe ale nie sú nikde na sklade a tiež nikde nevidím info že by mali byť kompatibilné s Dell PowerEdge SC1420. Pravdupovediac nechcem riskovať že zase kúpim RAMky, vložím ich do servra a budem počuť iba píííp....píííp....píííp...., ale pokiaľ ich niekto má a prípadne môže zapožičať na otestovanie, tak by som bol rád.

[Fox!MURDER]

ted budu pro zakose naky kupovat. bych ti je pucil, ale blava je 'malinko' z ruky :-O

[Rainbow]

Vyklikaj si to na webe Agemu - "Pamäťové moduly upgrade" - maju tam Kingstony a Apacery, presne podla typu serveru. Priprav sa na to, ze ich budes musiet dopredu zaplatit.

[Petrik]

ano, ale ten rozdil neni tak zavratnej ... tady dost zalezi na radici, jestli tim neco ziskas ... u levnejsich radicu zvysis seektime na seektime disku, ktery byl 'nejdal' (coz je statisticky v 33% pripadu prave ten disk, ze ktereho ctes)... u lepsich radicu tim muzes ztratit vyhodu cteni z vice mist naraz, ale tam je zase pravdepodobnost 33%, ze dalsi vec, kterou chces cist, je na tom samem disku ...

mimochodem stripe size ma nejvetsi vliv na random write malych souboru ...

co se webserveru tyce, doporucuju, nez koumat nad raidem, osadit server dostatkem pameti (4GB navic uz dnes stoji par kacek) ... minimalne v linuxu je cache pomerne efektivni ...

btw. treba XFS jde tweaknout na specifickou konfiguraci raidu, ale jakej je vyslednej efekt jsem nikdy nemeril ... nak nebyl cas ...

a hdparmem teda moc rychlost cteni malejch souboru nezmeris (ono tim teda nezmeris skoro nic :-O )

Pravda, zapis do RAIDu-5 a 6 je jeste vice zavisly na stripe size, protoze se musi prepocitat parita, takze tam je jedno cteni navic. Tech zvolenych 32kB mi pripada jako pomerne hodne spatna volba. 256kB by bylo vyrazne lepsi, zvlaste pokud ma server na desni dobu jiz hodne smesnou velikost RAM 1GB...to je jako kdyby se prodavala oktavka II s motorem 1.2HTP.
Optimalizace FS na RAID muze prinest docela velke zrychleni, tweaknout jde i EXT3, jsou to celkem 3 parametry.

[Fox!MURDER]

Optimalizace FS na RAID muze prinest docela velke zrychleni, tweaknout jde i EXT3, jsou to celkem 3 parametry.

a to vis, nebo si to myslis? mas to podlozeny nejakyma cislama?

ochcavka s 1.2 HTP neni nic nerealnyho ... kdyz to prodavali s 1.4MPI ...

me tech 32kb zas tak spatnejch neprijde ... tohle teoretizovani nema smysl, dokud k tomu nebudou nejaky konkretni cisla ...

[e1]

Rainbow, vďaka za typ na Agem. Je to stále dosť, ale aspoň polovičná cena oproti Kingston. Možno tú RAMku čoskoro upgradneme (asi v lete), teraz nákup diskov dosť vyšťavil penaženku.

4GB Memory Kit of 2 DDR2 REG DIMM PC3200 AP4096DLSC1420 310-4986 4094 Sk

[Petrik]

a to vis, nebo si to myslis? mas to podlozeny nejakyma cislama?

ochcavka s 1.2 HTP neni nic nerealnyho ... kdyz to prodavali s 1.4MPI ...

me tech 32kb zas tak spatnejch neprijde ... tohle teoretizovani nema smysl, dokud k tomu nebudou nejaky konkretni cisla ...

Nejakejma cislama to podlozeny mam, jednu dobu jsem se o to dost intenzive zajimal, ale ted zrovna nemuzu zadny z tech benchmarku najit. Osobne mam zkusenost pouze s MD RAIDem, ale jelikoz se jedna o velmi pokrocily RAID, bude to +- platit i pro skutecne HW RAIDy, protoze brzda je ve finale stejne disk a ne radic (u tech drazsich) resp. CPU (u MD). Komu by se to nezdalo, odkazu ho na pomerne detailni srovnani 3ware radicu vs. MD: http://makarevitch.org/rant/raid/