Výkon iSCSI přes ethernet, optimalizace

[HollyG]

Tak pro srovnani jsem udelal test s pomoci tohoto SW http://www.starwindsoftware.com/starwind (Win2k8R2 nemam kam na test nainstalovat, pro pouziti M$ iSCSI targetu).

Puvodne jsem to chtel otestovat s pomoci Tune HD, ale to mereni je nejake divne, neprekroci 50MB/s.
Takze jen beznym kopirovanim, rychlost je cca 80MB/s, vytizeni atom dvoujadra pri tom 15% (i podle Resource Monitoru to na ten disk skutecne takhle rychle zapisuje, na serveru tedy).
Soft umoznuje vytvorit i RAM disk target, ale zadny narust rychlosti tam uz nebyl, spise naopak (asi malo fyzicke RAMky na tyhle testy).

[Gargamel]

Neco mi rika, ze SW RAID5 nebude levna zalezitost co do vyuziti CPU...

[Marty]

Neco mi rika, ze SW RAID5 nebude levna zalezitost co do vyuziti CPU...

I při čtení? Při zápisu souhlas...

[monsoon]

Zase tak hrozné to není, při startu se testují různé algoritmy a do 8GB/s mám ještě pěknou rezervu.

[    1.208020] raid6: sse2x4    6435 MB/s
[    1.208027] raid6: using algorithm sse2x4 (6435 MB/s)
[    1.208662] xor: automatically using best checksumming function: generic_sse
[    1.228014]    generic_sse:  8053.000 MB/sec
[    1.228020] xor: using function: generic_sse (8053.000 MB/sec)

hw viz podpis: Intel(R) Pentium(R) Dual CPU E2200 @ 2.20GHz

[Marty]

Aha, dobrý tip, tak na tom Atom není taky tak zle.

[    2.832149] raid6: int64x1    323 MB/s[    2.900076] raid6: int64x2    507 MB/s
[    2.968034] raid6: int64x4    595 MB/s
[    3.036042] raid6: int64x8    713 MB/s
[    3.104057] raid6: sse2x1     619 MB/s
[    3.172041] raid6: sse2x2    1128 MB/s
[    3.240027] raid6: sse2x4    1981 MB/s
[    3.240032] raid6: using algorithm sse2x4 (1981 MB/s)

Jinak včera jsem si s tím hrál už na gigabitu (přes FTP, SMB i iSCSI) a mám tam nějakej větší problém, asi špatnej kabel či co, každopádně si to dělalo úplně co chce... občas kolísalo kolem 10MB/s a pak nějak padlo na rychlosti kolem 4MB/s... laboroval jsem ale i s MTU, takže bůh ví, co jsem domrvil

Takže další krok bude pořízení slušné kabeláže. Zajímavé ale bylo, že switche nehlásí žádné errory na linku a spojí se na 1000/FDX.

[Fox!MURDER]

Aha, dobrý tip, tak na tom Atom není taky tak zle.

[    2.832149] raid6: int64x1    323 MB/s[    2.900076] raid6: int64x2    507 MB/s
[    2.968034] raid6: int64x4    595 MB/s
[    3.036042] raid6: int64x8    713 MB/s
[    3.104057] raid6: sse2x1     619 MB/s
[    3.172041] raid6: sse2x2    1128 MB/s
[    3.240027] raid6: sse2x4    1981 MB/s
[    3.240032] raid6: using algorithm sse2x4 (1981 MB/s)

Jinak včera jsem si s tím hrál už na gigabitu (přes FTP, SMB i iSCSI) a mám tam nějakej větší problém, asi špatnej kabel či co, každopádně si to dělalo úplně co chce... občas kolísalo kolem 10MB/s a pak nějak padlo na rychlosti kolem 4MB/s... laboroval jsem ale i s MTU, takže bůh ví, co jsem domrvil

Takže další krok bude pořízení slušné kabeláže. Zajímavé ale bylo, že switche nehlásí žádné errory na linku a spojí se na 1000/FDX.

OS taky nehlasi zadne errory na te lince?

Jinak zlate pravidlo MTU je, ze musi byt uplne stejne na vsech strojich v segmentu.

[frelichl]

Nemuzu rict, ze bych tomu zrovna rozumnel, ale vsechna mereni vykonu XORu (pro RAID) anebo rychlosti sifrovacich algoritmu (pro TrueCrypt etc.) mi pripadaji velmi malo vypovidajici. Zasadni rozdil je imho v tom, ze neni prakticky mozne pouzit DMA. V normalim modu mate nejaky blok pameti, ktery potrebujete dostat na disk, procesor zinicializuje prenos a zbytek se dodela sam, neni nutne protocit vsechna data pres procesor.

V momente, kdy nad temi daty potrebujete spocitat XOR nebo v horsim pripade je zasifrovat nutne musite vsechno pres procesor propasirovat a rozhodne to nemuze fungovat tak, ze CPU spocita XOR pro vsechna data najednou tou rychlosti, kterou si muzete zmerit, pak je hotovo a jede se jako normalne. IO operace jsou vyrazne pomalejsi, bude tam hodne, hodne context-switchu a ve vysledku bude procesor castecne zaneprazdneny danou IO operaci po celou jeji dobu. Vyvedte me nekdo prosim z omylu, ale presne takhle si ja vysvetluju, ze laptop se sifrovanym diskem je citelne pomalejsi nez ten s nesifrovanym diskem, at jsou testy vykonu ohromujici jak chteji.

Mluvim samozrejme softraidu a softsifrovani...

[Marty]

OS taky nehlasi zadne errory na te lince?

Ověřím.

Jinak zlate pravidlo MTU je, ze musi byt uplne stejne na vsech strojich v segmentu.

Co na to switche? Když nastavím nějakou velkou velikost, a switch to nebude umět, co se stane?
Hledal jsem hledal a můj hlavní switch (v routeru Edimax BR6574n) to snad i umět má (ač jsem tu kdysi tvrdil něco jiného).
Trochu mi v tomto tématu chybí teoretický základ, takže budu muset trochu nastudovat, vo co jde.
(jak je to s hlavičkou, kolik má bajtů? 14 nebo kolik?)

btw. marty - nahod komplet konfigurak ietd ...

marty@tix:~$ sudo cat /etc/iet/ietd.conf | grep -v \#

Target iqn.2003-08.net.myslenka.grisu:vFile1
        Lun 0 Path=/mnt/data/volumes/iscsi_hdd_01.img.backup,Type=fileio,IOMode=ro

Target iqn.2003-08.net.myslenka.grisu:CDs
        Lun 0 Path=/mnt/data/volumes/ubuntu-11.04-desktop-amd64.iso,Type=fileio,IOMode=ro
        Lun 1 Path=/mnt/data/volumes/win7x64.iso,Type=fileio,IOMode=ro

Target iqn.2003-08.net.myslenka.grisu:InstXP
        Lun 0 Path=/mnt/data/volumes/iscsi_hdd_02.img,Type=fileio,IOMode=wt

Target iqn.2003-08.net.myslenka.grisu:vFile3
        Lun 0 Path=/mnt/data/volumes/iscsi_hdd_03.img,Type=fileio,IOMode=wt