Akú stripe size pre RAID5 pole na server?

[Aigor]

Doporučuju http://www.pcguide.com/ref/hdd/perf/...fStripe-c.html, je to tam IMHO dobře popsáno.

[e1]

No, s mojou slabou angličtinou som z toho pochopil jednu pre mňa podstatnú vec. Keď mám stripe size nastavený na 32KB, tak vlastne každý dátový blok má v mojom prípade 96KB. Takže keď zapíšem 10KB HTML súbor, tak mi zožerie z diskov takmer desaťnásobok miesta. V tomto prípade by bolo ideálne keby som zmenšil stripe size cca. na úroveň 4-16KB, čo nie je problém, ale ono to má asi aj nejaký negatívny dopad, len neviem presne aký.

[Aigor]

Ne tak úplně. Pokud se nepletu, tak při 4x HDD na RAID5 a stripe 32kB zabere každý datový blok 32kb+32/3, protože na 3 disky zapíše 3x různé bloky a na 4.disk jejich paritu. Na každý z datových bloků pak vychází tedy 1/3 parity, tedy cca 43kB.

Osobně bych velikost stripe příliš neřešil. Pokud zvolíš dost vysokou, pak menší soubory zaberou více místa. Pokud příliš malou, výkon pole se bude ztrácet na seeku a režii bloků. Vem odhadem průměrnou velikost souborů webserveru, které budou uloženy a nejbližší vyšší stripe bych nastavil.

[e1]

No, nastavil som to na 32KB a zatiaľ to vyzerá byť OK.

livecd / # hdparm -tT /dev/sda
/dev/sda:
Timing  cached reads: 3400 MB in 2.00 seconds = 1699.96 MB/sec
Timing buffered disk  reads: 284 MB in 3.00 seconds = 94.59 MB/sec

Neviem akú majú výpovednú hodnotu tieto údaje ale snať to na webserver bude stačiť.

[Petrik]

Na rychle cteni malych souboru potrebujes, aby byl kazdy maly soubor nejlepe pouze na jednom disku a pole tak bylo schopne cist az 3 soubory najednou, coz je idealni stav. Cim vetsi stripe size, tim je vetsi pravdepodobnost, ze male soubory budou pouze na jednom disku a nebudou rozesete po celem poli, coz je vyhodne u velkych souboru, ktere pak lze cist rychle. Potiz je, ze pokud je jeden soubor na vice discich soucasne, musi vsechny zucastneme disky seekovat, coz trva dele, nez kdyz seekuje pouze jeden disk. Takze stipe size doporucuji nekde kolem 256kB-512kB, napr. pro linuxove MD-RAIDy se na server doporucuje hodnota 256kB. tebou zvolena velikost 32kB se hodi na cteni velkych souboru, napr. na praci s videem.

Mimochodem: pokud ti jde o vykon, tak doporucuji RAID-1, tam mas zaruceno, ze jde vzdy cist tolik ruznych souboru naraz, kolik je disku v poli, takze pri pouziti 4 disku by server mohl cist naraz 4 ruzne soubory, za predpokladu, ze ten RAID radic neni uplne hloupy, napr. zminovany linuxovy SW MD-RAID toto umi.

Ne tak úplně. Pokud se nepletu, tak při 4x HDD na RAID5 a stripe 32kB zabere každý datový blok 32kb+32/3, protože na 3 disky zapíše 3x různé bloky a na 4.disk jejich paritu. Na každý z datových bloků pak vychází tedy 1/3 parity, tedy cca 43kB.

Osobně bych velikost stripe příliš neřešil. Pokud zvolíš dost vysokou, pak menší soubory zaberou více místa. Pokud příliš malou, výkon pole se bude ztrácet na seeku a režii bloků. Vem odhadem průměrnou velikost souborů webserveru, které budou uloženy a nejbližší vyšší stripe bych nastavil.

velikost stripe size skutecne nema zadny vliv na to, kolik mista zaberou soubory, to je veci cluster size resp. block size u filesystemu. OS nema ani paru, jaka je stripe size, kdyz nemluvime o linuxovem MD raidu.

[Fox!MURDER]

Potiz je, ze pokud je jeden soubor na vice discich soucasne, musi vsechny zucastneme disky seekovat, coz trva dele, nez kdyz seekuje pouze jeden disk.

ano, ale ten rozdil neni tak zavratnej ... tady dost zalezi na radici, jestli tim neco ziskas ... u levnejsich radicu zvysis seektime na seektime disku, ktery byl 'nejdal' (coz je statisticky v 33% pripadu prave ten disk, ze ktereho ctes)... u lepsich radicu tim muzes ztratit vyhodu cteni z vice mist naraz, ale tam je zase pravdepodobnost 33%, ze dalsi vec, kterou chces cist, je na tom samem disku ...

mimochodem stripe size ma nejvetsi vliv na random write malych souboru ...

co se webserveru tyce, doporucuju, nez koumat nad raidem, osadit server dostatkem pameti (4GB navic uz dnes stoji par kacek) ... minimalne v linuxu je cache pomerne efektivni ...

btw. treba XFS jde tweaknout na specifickou konfiguraci raidu, ale jakej je vyslednej efekt jsem nikdy nemeril ... nak nebyl cas ...

a hdparmem teda moc rychlost cteni malejch souboru nezmeris (ono tim teda nezmeris skoro nic :-O )

[e1]

Nakoniec sme tam nechali 32KB strip size, vyzerá to byť ok, server už je v serverovni.

Čo sa týka RAMky je mi jasné že tej nikdy nie je dosť, žial 4GB RAM do Dell PowerEdge SC1420 stojí cca. 7-8 tisíc (už som zháňal), od Dellu 13, takže musíme si vystačiť s 2x 512MB. Inak z tohoto hľadiska sa nemôžem sťažovať, zatiaľ nepociťujem potrebu väčšej pamäťe. Na serveri beží cca. 20 webov, najnavštevovanejšia má cca. 700 návštevníkov a 5000 pageviews denne, potom je ešte zopár medzi 100-300 visitors a ostaytné stránky do 30-50 denne, takže žiadna extra záťaž sa nekoná. Skôr by som uprednostnil druhé CPU, ale pri jeho cene radšej počkám rok alebo dva a poskladám komplente nový server s nejakým štvorjadrom alebo osemjadrom (podľa toho čo bude in) aj s minimálne 8GB RAM a bude kľud.

[Petrik]

ano, ale ten rozdil neni tak zavratnej ... tady dost zalezi na radici, jestli tim neco ziskas ... u levnejsich radicu zvysis seektime na seektime disku, ktery byl 'nejdal' (coz je statisticky v 33% pripadu prave ten disk, ze ktereho ctes)... u lepsich radicu tim muzes ztratit vyhodu cteni z vice mist naraz, ale tam je zase pravdepodobnost 33%, ze dalsi vec, kterou chces cist, je na tom samem disku ...

mimochodem stripe size ma nejvetsi vliv na random write malych souboru ...

co se webserveru tyce, doporucuju, nez koumat nad raidem, osadit server dostatkem pameti (4GB navic uz dnes stoji par kacek) ... minimalne v linuxu je cache pomerne efektivni ...

btw. treba XFS jde tweaknout na specifickou konfiguraci raidu, ale jakej je vyslednej efekt jsem nikdy nemeril ... nak nebyl cas ...

a hdparmem teda moc rychlost cteni malejch souboru nezmeris (ono tim teda nezmeris skoro nic :-O )

Pravda, zapis do RAIDu-5 a 6 je jeste vice zavisly na stripe size, protoze se musi prepocitat parita, takze tam je jedno cteni navic. Tech zvolenych 32kB mi pripada jako pomerne hodne spatna volba. 256kB by bylo vyrazne lepsi, zvlaste pokud ma server na desni dobu jiz hodne smesnou velikost RAM 1GB...to je jako kdyby se prodavala oktavka II s motorem 1.2HTP.
Optimalizace FS na RAID muze prinest docela velke zrychleni, tweaknout jde i EXT3, jsou to celkem 3 parametry.