Stránka 1 z 2 12 PosledníPoslední
Výsledky 1 až 25 z 32

Téma: Výkon iSCSI přes ethernet, optimalizace

  1. #1
    Administrátor マツダ mince Avatar uživatele Marty
    Založen
    07.10.2002
    Bydliště
    Praha, Sanctuary
    Věk
    41
    Příspěvky
    8 225
    Vliv
    300

    Standardní Výkon iSCSI přes ethernet, optimalizace

    V návaznosti na thread o bootování Win7 ze sítě jsem narazil na zajímavou problematiku - ladění výkonu iSCSI.
    Zatím laďme lokálně a do sítě se přesuňme, až bude vyladěno přes loopback.

    Níže naměřené výsledky jsou dost zoufalé. Použitý software je IET jako target, open-iscsi jako initiator.
    Platforma:
    Linux tix 2.6.32-5-amd64 #1 SMP Mon Oct 3 03:59:20 UTC 2011 x86_64 GNU/Linux
    HW:
    Atom D510, 4GB DDR2, 3x Samsung F2 v mdraid jako RAID5.

    Tady rychlý test volumu připojeného přes iSCSI lokálně (target je stejný stroj jako initiator, ale není připojený přes loopback)
    Kód:
    tix:/home/marty# hdparm -tT /dev/sdd1
    
    /dev/sdd1:
     Timing cached reads:   1666 MB in  2.00 seconds = 832.52 MB/sec
     Timing buffered disk reads: 136 MB in  3.04 seconds =  44.76 MB/sec
    tix:/home/marty# hdparm -tT /dev/sdd1
    
    
    /dev/sdd1:
     Timing cached reads:   1624 MB in  2.00 seconds = 812.29 MB/sec
     Timing buffered disk reads: 170 MB in  3.02 seconds =  56.26 MB/sec
    tix:/home/marty# hdparm -tT /dev/sdd1
    
    
    /dev/sdd1:
     Timing cached reads:   1662 MB in  2.00 seconds = 830.86 MB/sec
     Timing buffered disk reads: 176 MB in  3.01 seconds =  58.53 MB/sec
    tix:/home/marty# hdparm -tT /dev/sdd1
    
    
    /dev/sdd1:
     Timing cached reads:   1660 MB in  2.00 seconds = 830.37 MB/sec
     Timing buffered disk reads: 182 MB in  3.01 seconds =  60.39 MB/sec
    tix:/home/marty# hdparm -tT /dev/sdd1
    
    
    /dev/sdd1:
     Timing cached reads:   1654 MB in  2.00 seconds = 827.29 MB/sec
     Timing buffered disk reads: 182 MB in  3.03 seconds =  59.98 MB/sec
    Připojený přes loopback:

    Kód:
    tix:/home/marty# hdparm -tT /dev/sdd
    
    /dev/sdd:
     Timing cached reads:   1572 MB in  2.00 seconds = 785.67 MB/sec
     Timing buffered disk reads: 202 MB in  3.02 seconds =  66.80 MB/sec
    tix:/home/marty# hdparm -tT /dev/sdd
    
    
    /dev/sdd:
     Timing cached reads:   1600 MB in  2.00 seconds = 800.18 MB/sec
     Timing buffered disk reads: 212 MB in  3.03 seconds =  70.00 MB/sec
    tix:/home/marty# hdparm -tT /dev/sdd
    
    
    /dev/sdd:
     Timing cached reads:   1576 MB in  2.00 seconds = 787.73 MB/sec
     Timing buffered disk reads: 212 MB in  3.01 seconds =  70.32 MB/sec
    tix:/home/marty# hdparm -tT /dev/sdd
    
    
    /dev/sdd:
     Timing cached reads:   1542 MB in  2.00 seconds = 770.41 MB/sec
     Timing buffered disk reads: 218 MB in  3.03 seconds =  71.89 MB/sec
    tix:/home/marty# hdparm -tT /dev/sdd
    
    
    /dev/sdd:
     Timing cached reads:   1594 MB in  2.00 seconds = 797.01 MB/sec
     Timing buffered disk reads: 214 MB in  3.02 seconds =  70.95 MB/sec
    A napřímo test pole, na kterém to běží:
    Kód:
    tix:/home/marty# hdparm -tT /dev/md2
    
    /dev/md2:
     Timing cached reads:   1540 MB in  2.00 seconds = 769.85 MB/sec
     Timing buffered disk reads: 434 MB in  3.05 seconds = 142.53 MB/sec
    tix:/home/marty# hdparm -tT /dev/md2
    
    
    /dev/md2:
     Timing cached reads:   1554 MB in  2.00 seconds = 776.51 MB/sec
     Timing buffered disk reads: 318 MB in  3.00 seconds = 105.87 MB/sec
    tix:/home/marty# hdparm -tT /dev/md2
    
    
    /dev/md2:
     Timing cached reads:   1608 MB in  2.00 seconds = 803.60 MB/sec
     Timing buffered disk reads: 352 MB in  3.00 seconds = 117.27 MB/sec
    tix:/home/marty# hdparm -tT /dev/md2
    
    
    /dev/md2:
     Timing cached reads:   1690 MB in  2.00 seconds = 844.82 MB/sec
     Timing buffered disk reads: 418 MB in  3.01 seconds = 138.94 MB/sec

    A teď k věci:
    1. jaká je v praxi režie iSCSI, má smysl ho používat pro lokálně běžící virtuální stroje místo přímého přístupu k RAW souboru?
    2. jak poladit IET, aby se při lokálním připojení rychlosti dostaly alespoň nad 2/3 praktické propustnosti přímého přístupu na disk?
    3. jak připravit celou konfiguraci pro dosažení podobného výkonu po síti?
    Jsem nakloněn případné koupi nového routeru / switche, do kterého je připojen NAS. V síti mám zatím 2ks RB250GS, což jsou gigové managovatelné mikrotikové switche. V současné době mi na tomto HW (NAS) běží virtuální stroj s Windows, který tomu dává slušný kouř (vytížení procesoru je průměrně na 10%), tu mašinu bych mohl případně posunout jinam...

    Nezdá se mi varianta, že by řešením byl pouze upgrade procesoru. Pořízení síťovky s TCP offloadingem asi taky není schůdná cesta (znamenalo by to přeházet celý HW, nejsou sloty).
    CUBE> 3570K IHS mod@ 4.4 GHz + NH-U9B ◦ 16 GB ◦ ASUS P8Z77-M ◦ HD7850 2GB @ 1110/5480 + Mk 26 ◦ 240 GB SSD ◦ SS-II 380 W ◦ LIAN LI PC-V351B plexi mod ◦ LG IPS231p
    WORK> HP EliteBook 840 G5 ◦ i7 8550U 1.8/4.0 GHz ◦ 32 GB DDR3 ◦ 512 GB nVME SSD ◦ 14.1" 1920x1080 LED + 2x 24" ASUS FullHD ◦ Win10 Enterprise
    SERVER> HP ProLiant Microserver Gen8 ◦ Intel Core i5-3540T ◦ 16 GB DDR3 ◦ 180 GB SSD + 4 TB WD GREEN + 3x3 TB WD RED RAID5 ◦ 10GbE NIC
    PHOTO> Canon EOS 70D ◦ EF 70-200/4L ◦ EF-S 10-18 STM ◦ EF 50/1.8II ◦ EF-S 40/2.8 STM ◦ Yongnuo YN-568EX ◦ Tamrac 5534
    HOMECINEMA> TV Samsung LE40B650 40" FullHD ◦ DVD Pioneer DV-310K ◦ AVR Yamaha RX-V359 ◦ SPK Dexon Allegro 5.0
    OTHERSTUFF> Mikrotik RB750GL ◦ HP PS1810-8G ◦ UniFi AP AC LR ◦ OKI MB461
    ◦ Canon PiXMA MG5350

  2. #2

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    Covece ja ted koukal na http://www.diit.cz/clanek/nas-server...ty/39108/37390 a taky me to iSCSI prekvapilo. Ja ted na novem stroji davam pres NFS maximum gigabitu 115MB/s pri zatizeni do 10% CPU (vc. I/O wait), takze dobrou sitovku nelze nez jen doporucit.

    Co ti ukazuje top pri zatezi? Staci nejaky dd nebo cat do /dev/null z toho iscsi zarizeni. Treba je to jen vec bloku, uzke hrdlo muze byt kdekoliv. Na ostestovani site zkus iperf.
    In a world without fences and walls, who needs Gates and Windows? | Nesnáším wide monitory.
    Workstation: Xeon E3-1275v5 :: Silentmaxx TwinBlock fanless :: Fujitsu D3417-B :: 32 GB ECC DDR4 :: Radeon Pro WX 2100 fanless :: Dell UP2715K :: Gentoo
    Server: Xeon E3-1245v6 :: Supermicro X11SSH-F :: 32 GB ECC DDR4 :: Aquantia 5GBase-T :: 36 TB storage :: Gentoo Hardened

  3. #3

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    1) Co znamená připojeno lokálně? Pomocí adres, co máš na skutečné síťovce?
    2) Target je nějaký soubor vytvořený na poli? Nebo nejaky lvm oddíl? Jak je pole zaplněné?

    Rozdíl, který vidím mezi použitím loopback interfacu a skutečné síťovky je 70 vs 60MBps, což není tak špatné.

    Tipuju, že target je soubor na poli a pole je natolik fragmentované, že více skutečně nezvládne, to co měří hdparm je přímý přístup k diskům nezávisle na filesystemu a fragmentaci.
    Vyzkoušej jak rychle ten soubor skutečně přečteš:
    Kód:
    dd if=target_soubor of=/dev/null
    hdparm mi přímo na poli ukazuje taky kolem 190MBps, ale když se pokusím přečíst novější soubory pomocí dd, tak se dostanu třeba jen na 40MBps.

    Fanless Experiment || Gigabyte Z77-DS3H | Intel i5-3570K | Thermalright HR-02 | 16G DDR3 | Sapphire HD 7750 Ultimate | Crucial M4 256GB | Seasonic X-400FL | Fractal Define R4
    Dell D430 || i945G | C2D 1.2G ULV | 2G DDR2 533 | GMA950 | 12" 1280x800 | 80G 4k2 | 802.3ab | 802.11g | 802.15.1 | HSDPA | Windows 7 x64
    Storage || i965G | E2200 | 4G DDR2 | RAID5 6x Samsung HD154UI 1.5TB - ~7TiB | 802.3ab ...powered by Ubuntu Server x64
    Accessories || E-MU Tracker Pre USB 2.0 | Meier Corda Headsix | Sony MDR-CD470 | Pioneer A-204R | Tesla ARS 9218 32 | LG 32LD350

    "Music is essentially useless, as life is." George Santayana


  4. #4
    Administrátor マツダ mince Avatar uživatele Marty
    Založen
    07.10.2002
    Bydliště
    Praha, Sanctuary
    Věk
    41
    Příspěvky
    8 225
    Vliv
    300

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    Díky za podněty!

    1. síťovka - mám problém se sloty. Atom má jen MiniPCI Express a PCI. V PCI mám SATA řadič. Šlo by SATA přesunout do MiniPCI Express a do PCI hodit síťovku, ale tím si nepomůžu. MiniPCI Express síťovka bude trošku oříšek, ale sehnat se dá. Má to smysl? Viděl bych to ale jako až poslední možnost.

    2. vytížení /dev/zero >> iscsi, mazec, viz příloha, já jsem na to koukal přes htop a asi mi něco uniklo. Vypadá to, že má fakt procák problém

    3. připojeno lokálně - ano, pomocí adres na síťovce

    4. target je soubor vytvořený na poli, pole je z 95% plné (zbývá asi 150GB). Problém s fragmentací nevidím:
    Kód:
    marty@tix:/mnt/data/volumes$ dd if=16G_blank.raw of=/dev/null33554432+0 records in
    33554432+0 records out
    17179869184 bytes (17 GB) copied, 162.655 s, 106 MB/s
    marty@tix:/mnt/data/volumes$ dd if=iscsi_hdd_01.img.backup of=/dev/null
    33554432+0 records in
    33554432+0 records out
    17179869184 bytes (17 GB) copied, 147.647 s, 116 MB/s
    top_iscsi.PNG
    CUBE> 3570K IHS mod@ 4.4 GHz + NH-U9B ◦ 16 GB ◦ ASUS P8Z77-M ◦ HD7850 2GB @ 1110/5480 + Mk 26 ◦ 240 GB SSD ◦ SS-II 380 W ◦ LIAN LI PC-V351B plexi mod ◦ LG IPS231p
    WORK> HP EliteBook 840 G5 ◦ i7 8550U 1.8/4.0 GHz ◦ 32 GB DDR3 ◦ 512 GB nVME SSD ◦ 14.1" 1920x1080 LED + 2x 24" ASUS FullHD ◦ Win10 Enterprise
    SERVER> HP ProLiant Microserver Gen8 ◦ Intel Core i5-3540T ◦ 16 GB DDR3 ◦ 180 GB SSD + 4 TB WD GREEN + 3x3 TB WD RED RAID5 ◦ 10GbE NIC
    PHOTO> Canon EOS 70D ◦ EF 70-200/4L ◦ EF-S 10-18 STM ◦ EF 50/1.8II ◦ EF-S 40/2.8 STM ◦ Yongnuo YN-568EX ◦ Tamrac 5534
    HOMECINEMA> TV Samsung LE40B650 40" FullHD ◦ DVD Pioneer DV-310K ◦ AVR Yamaha RX-V359 ◦ SPK Dexon Allegro 5.0
    OTHERSTUFF> Mikrotik RB750GL ◦ HP PS1810-8G ◦ UniFi AP AC LR ◦ OKI MB461
    ◦ Canon PiXMA MG5350

  5. #5
    Administrátor マツダ mince Avatar uživatele Marty
    Založen
    07.10.2002
    Bydliště
    Praha, Sanctuary
    Věk
    41
    Příspěvky
    8 225
    Vliv
    300

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    Ještě jednou testík přístupu na iSCSI volume připojeného přes 127.0.0.1

    Kód:
    tix:/mnt/sdd# dd if=/dev/zero of=/mnt/sdd/testfile bs=1M count=40964096+0 records in
    4096+0 records out
    4294967296 bytes (4.3 GB) copied, 141.706 s, 30.3 MB/s
    tix:/mnt/sdd# dd if=testfile of=/dev/null
    8388608+0 records in
    8388608+0 records out
    4294967296 bytes (4.3 GB) copied, 82.2473 s, 52.2 MB/s
    a vytížení při čtení (předchozí post je zápis)
    top_iscsi_read.PNG


    Mno, tak to vypadá, že hlavní příčinou všelijaké rychlosti bude
    1. kolísání rychlosti na RAIDu
    2. vytížení procesoru mimo jiné VirtualBoxem

    Napadá vás ještě něco dalšího?
    CUBE> 3570K IHS mod@ 4.4 GHz + NH-U9B ◦ 16 GB ◦ ASUS P8Z77-M ◦ HD7850 2GB @ 1110/5480 + Mk 26 ◦ 240 GB SSD ◦ SS-II 380 W ◦ LIAN LI PC-V351B plexi mod ◦ LG IPS231p
    WORK> HP EliteBook 840 G5 ◦ i7 8550U 1.8/4.0 GHz ◦ 32 GB DDR3 ◦ 512 GB nVME SSD ◦ 14.1" 1920x1080 LED + 2x 24" ASUS FullHD ◦ Win10 Enterprise
    SERVER> HP ProLiant Microserver Gen8 ◦ Intel Core i5-3540T ◦ 16 GB DDR3 ◦ 180 GB SSD + 4 TB WD GREEN + 3x3 TB WD RED RAID5 ◦ 10GbE NIC
    PHOTO> Canon EOS 70D ◦ EF 70-200/4L ◦ EF-S 10-18 STM ◦ EF 50/1.8II ◦ EF-S 40/2.8 STM ◦ Yongnuo YN-568EX ◦ Tamrac 5534
    HOMECINEMA> TV Samsung LE40B650 40" FullHD ◦ DVD Pioneer DV-310K ◦ AVR Yamaha RX-V359 ◦ SPK Dexon Allegro 5.0
    OTHERSTUFF> Mikrotik RB750GL ◦ HP PS1810-8G ◦ UniFi AP AC LR ◦ OKI MB461
    ◦ Canon PiXMA MG5350

  6. #6

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    ja mel nejlepsi zkusenosti, co se tyce vykonu iscsi, se scst ... takze jestli se ti chce spekulovat, tak vyhod ietd a nahod scst ... rekord mam asi 1.5GB/s ...
    Hrrrr, will you stop using people as human driven search engines? Google.com has all the answers you need.

  7. #7

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    Citace Původně odeslal Fox!MURDER Zobrazit příspěvek
    ja mel nejlepsi zkusenosti, co se tyce vykonu iscsi, se scst ... takze jestli se ti chce spekulovat, tak vyhod ietd a nahod scst ... rekord mam asi 1.5GB/s ...
    OMG, na jakem hardwaru?
    Lenovo X200 | Lenovo Ultrabase | Sennheiser HD 595 | Fujitsu Siemens P19-2 Black | Logitech Internet Navigation Keyboard | Logitech VX Revolution

  8. #8

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    Dual Xeon E5620, Areca 1880, 12x Seagate Cheetah 15k.7 600G, Mellanox ConnectX, IPoIB.
    Hrrrr, will you stop using people as human driven search engines? Google.com has all the answers you need.

  9. #9
    Administrátor マツダ mince Avatar uživatele Marty
    Založen
    07.10.2002
    Bydliště
    Praha, Sanctuary
    Věk
    41
    Příspěvky
    8 225
    Vliv
    300

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    Muhahaha. Když jsem říkal, že je pro mě investice do MiniPCI Express síťovky moc, tak jsem tím myslel i nějaký infinibandový zvěrstva
    Ale slušnej oddíl, to teda jo

    Na SCST už jsem dneska koukal, rozhodně tomu dám šanci. Ale teď se bez gigabitový kabeláže nehnu
    CUBE> 3570K IHS mod@ 4.4 GHz + NH-U9B ◦ 16 GB ◦ ASUS P8Z77-M ◦ HD7850 2GB @ 1110/5480 + Mk 26 ◦ 240 GB SSD ◦ SS-II 380 W ◦ LIAN LI PC-V351B plexi mod ◦ LG IPS231p
    WORK> HP EliteBook 840 G5 ◦ i7 8550U 1.8/4.0 GHz ◦ 32 GB DDR3 ◦ 512 GB nVME SSD ◦ 14.1" 1920x1080 LED + 2x 24" ASUS FullHD ◦ Win10 Enterprise
    SERVER> HP ProLiant Microserver Gen8 ◦ Intel Core i5-3540T ◦ 16 GB DDR3 ◦ 180 GB SSD + 4 TB WD GREEN + 3x3 TB WD RED RAID5 ◦ 10GbE NIC
    PHOTO> Canon EOS 70D ◦ EF 70-200/4L ◦ EF-S 10-18 STM ◦ EF 50/1.8II ◦ EF-S 40/2.8 STM ◦ Yongnuo YN-568EX ◦ Tamrac 5534
    HOMECINEMA> TV Samsung LE40B650 40" FullHD ◦ DVD Pioneer DV-310K ◦ AVR Yamaha RX-V359 ◦ SPK Dexon Allegro 5.0
    OTHERSTUFF> Mikrotik RB750GL ◦ HP PS1810-8G ◦ UniFi AP AC LR ◦ OKI MB461
    ◦ Canon PiXMA MG5350

  10. #10

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    mno, myslim, ze v cene tohohle bys mel tech sitovek asi tak kamion
    psal jsem to tu spis proto, ze jsem testil vsechny ctyri iscsi targety a prave se scst jsem dosahoval nejlepsich vysledku.
    ale to samozrejme nemusi platit pro tvuj setup ...
    Hrrrr, will you stop using people as human driven search engines? Google.com has all the answers you need.

  11. #11
    Administrátor マツダ mince Avatar uživatele Marty
    Založen
    07.10.2002
    Bydliště
    Praha, Sanctuary
    Věk
    41
    Příspěvky
    8 225
    Vliv
    300

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    Jasan, taky už jsi dostal K+ rozhodně SCST testnu, ale nejdřív musím odklonit ten load tou virtuální mašinou jinam a natáhnout gigabit...
    CUBE> 3570K IHS mod@ 4.4 GHz + NH-U9B ◦ 16 GB ◦ ASUS P8Z77-M ◦ HD7850 2GB @ 1110/5480 + Mk 26 ◦ 240 GB SSD ◦ SS-II 380 W ◦ LIAN LI PC-V351B plexi mod ◦ LG IPS231p
    WORK> HP EliteBook 840 G5 ◦ i7 8550U 1.8/4.0 GHz ◦ 32 GB DDR3 ◦ 512 GB nVME SSD ◦ 14.1" 1920x1080 LED + 2x 24" ASUS FullHD ◦ Win10 Enterprise
    SERVER> HP ProLiant Microserver Gen8 ◦ Intel Core i5-3540T ◦ 16 GB DDR3 ◦ 180 GB SSD + 4 TB WD GREEN + 3x3 TB WD RED RAID5 ◦ 10GbE NIC
    PHOTO> Canon EOS 70D ◦ EF 70-200/4L ◦ EF-S 10-18 STM ◦ EF 50/1.8II ◦ EF-S 40/2.8 STM ◦ Yongnuo YN-568EX ◦ Tamrac 5534
    HOMECINEMA> TV Samsung LE40B650 40" FullHD ◦ DVD Pioneer DV-310K ◦ AVR Yamaha RX-V359 ◦ SPK Dexon Allegro 5.0
    OTHERSTUFF> Mikrotik RB750GL ◦ HP PS1810-8G ◦ UniFi AP AC LR ◦ OKI MB461
    ◦ Canon PiXMA MG5350

  12. #12
    Senior Member Avatar uživatele HollyG
    Založen
    12.01.2004
    Bydliště
    Praha
    Věk
    38
    Příspěvky
    1 054
    Vliv
    271

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    Tak pro srovnani jsem udelal test s pomoci tohoto SW http://www.starwindsoftware.com/starwind (Win2k8R2 nemam kam na test nainstalovat, pro pouziti M$ iSCSI targetu).

    Puvodne jsem to chtel otestovat s pomoci Tune HD, ale to mereni je nejake divne, neprekroci 50MB/s.
    Takze jen beznym kopirovanim, rychlost je cca 80MB/s, vytizeni atom dvoujadra pri tom 15% (i podle Resource Monitoru to na ten disk skutecne takhle rychle zapisuje, na serveru tedy).
    Soft umoznuje vytvorit i RAM disk target, ale zadny narust rychlosti tam uz nebyl, spise naopak (asi malo fyzicke RAMky na tyhle testy).
    Lidi o mně říkají, že jsem flegmatik. Mně je to ale jedno!
    I'm not arrogant...I'm just better than you!

  13. #13

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    Neco mi rika, ze SW RAID5 nebude levna zalezitost co do vyuziti CPU...
    In a world without fences and walls, who needs Gates and Windows? | Nesnáším wide monitory.
    Workstation: Xeon E3-1275v5 :: Silentmaxx TwinBlock fanless :: Fujitsu D3417-B :: 32 GB ECC DDR4 :: Radeon Pro WX 2100 fanless :: Dell UP2715K :: Gentoo
    Server: Xeon E3-1245v6 :: Supermicro X11SSH-F :: 32 GB ECC DDR4 :: Aquantia 5GBase-T :: 36 TB storage :: Gentoo Hardened

  14. #14
    Administrátor マツダ mince Avatar uživatele Marty
    Založen
    07.10.2002
    Bydliště
    Praha, Sanctuary
    Věk
    41
    Příspěvky
    8 225
    Vliv
    300

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    Citace Původně odeslal Gargamel Zobrazit příspěvek
    Neco mi rika, ze SW RAID5 nebude levna zalezitost co do vyuziti CPU...
    I při čtení? Při zápisu souhlas...
    CUBE> 3570K IHS mod@ 4.4 GHz + NH-U9B ◦ 16 GB ◦ ASUS P8Z77-M ◦ HD7850 2GB @ 1110/5480 + Mk 26 ◦ 240 GB SSD ◦ SS-II 380 W ◦ LIAN LI PC-V351B plexi mod ◦ LG IPS231p
    WORK> HP EliteBook 840 G5 ◦ i7 8550U 1.8/4.0 GHz ◦ 32 GB DDR3 ◦ 512 GB nVME SSD ◦ 14.1" 1920x1080 LED + 2x 24" ASUS FullHD ◦ Win10 Enterprise
    SERVER> HP ProLiant Microserver Gen8 ◦ Intel Core i5-3540T ◦ 16 GB DDR3 ◦ 180 GB SSD + 4 TB WD GREEN + 3x3 TB WD RED RAID5 ◦ 10GbE NIC
    PHOTO> Canon EOS 70D ◦ EF 70-200/4L ◦ EF-S 10-18 STM ◦ EF 50/1.8II ◦ EF-S 40/2.8 STM ◦ Yongnuo YN-568EX ◦ Tamrac 5534
    HOMECINEMA> TV Samsung LE40B650 40" FullHD ◦ DVD Pioneer DV-310K ◦ AVR Yamaha RX-V359 ◦ SPK Dexon Allegro 5.0
    OTHERSTUFF> Mikrotik RB750GL ◦ HP PS1810-8G ◦ UniFi AP AC LR ◦ OKI MB461
    ◦ Canon PiXMA MG5350

  15. #15

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    Zase tak hrozné to není, při startu se testují různé algoritmy a do 8GB/s mám ještě pěknou rezervu.
    Kód:
    [    1.208020] raid6: sse2x4    6435 MB/s
    [    1.208027] raid6: using algorithm sse2x4 (6435 MB/s)
    [    1.208662] xor: automatically using best checksumming function: generic_sse
    [    1.228014]    generic_sse:  8053.000 MB/sec
    [    1.228020] xor: using function: generic_sse (8053.000 MB/sec)
    hw viz podpis: Intel(R) Pentium(R) Dual CPU E2200 @ 2.20GHz

    Fanless Experiment || Gigabyte Z77-DS3H | Intel i5-3570K | Thermalright HR-02 | 16G DDR3 | Sapphire HD 7750 Ultimate | Crucial M4 256GB | Seasonic X-400FL | Fractal Define R4
    Dell D430 || i945G | C2D 1.2G ULV | 2G DDR2 533 | GMA950 | 12" 1280x800 | 80G 4k2 | 802.3ab | 802.11g | 802.15.1 | HSDPA | Windows 7 x64
    Storage || i965G | E2200 | 4G DDR2 | RAID5 6x Samsung HD154UI 1.5TB - ~7TiB | 802.3ab ...powered by Ubuntu Server x64
    Accessories || E-MU Tracker Pre USB 2.0 | Meier Corda Headsix | Sony MDR-CD470 | Pioneer A-204R | Tesla ARS 9218 32 | LG 32LD350

    "Music is essentially useless, as life is." George Santayana


  16. #16
    Administrátor マツダ mince Avatar uživatele Marty
    Založen
    07.10.2002
    Bydliště
    Praha, Sanctuary
    Věk
    41
    Příspěvky
    8 225
    Vliv
    300

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    Aha, dobrý tip, tak na tom Atom není taky tak zle.

    Kód:
    [    2.832149] raid6: int64x1    323 MB/s[    2.900076] raid6: int64x2    507 MB/s
    [    2.968034] raid6: int64x4    595 MB/s
    [    3.036042] raid6: int64x8    713 MB/s
    [    3.104057] raid6: sse2x1     619 MB/s
    [    3.172041] raid6: sse2x2    1128 MB/s
    [    3.240027] raid6: sse2x4    1981 MB/s
    [    3.240032] raid6: using algorithm sse2x4 (1981 MB/s)
    Jinak včera jsem si s tím hrál už na gigabitu (přes FTP, SMB i iSCSI) a mám tam nějakej větší problém, asi špatnej kabel či co, každopádně si to dělalo úplně co chce... občas kolísalo kolem 10MB/s a pak nějak padlo na rychlosti kolem 4MB/s... laboroval jsem ale i s MTU, takže bůh ví, co jsem domrvil

    Takže další krok bude pořízení slušné kabeláže. Zajímavé ale bylo, že switche nehlásí žádné errory na linku a spojí se na 1000/FDX.
    CUBE> 3570K IHS mod@ 4.4 GHz + NH-U9B ◦ 16 GB ◦ ASUS P8Z77-M ◦ HD7850 2GB @ 1110/5480 + Mk 26 ◦ 240 GB SSD ◦ SS-II 380 W ◦ LIAN LI PC-V351B plexi mod ◦ LG IPS231p
    WORK> HP EliteBook 840 G5 ◦ i7 8550U 1.8/4.0 GHz ◦ 32 GB DDR3 ◦ 512 GB nVME SSD ◦ 14.1" 1920x1080 LED + 2x 24" ASUS FullHD ◦ Win10 Enterprise
    SERVER> HP ProLiant Microserver Gen8 ◦ Intel Core i5-3540T ◦ 16 GB DDR3 ◦ 180 GB SSD + 4 TB WD GREEN + 3x3 TB WD RED RAID5 ◦ 10GbE NIC
    PHOTO> Canon EOS 70D ◦ EF 70-200/4L ◦ EF-S 10-18 STM ◦ EF 50/1.8II ◦ EF-S 40/2.8 STM ◦ Yongnuo YN-568EX ◦ Tamrac 5534
    HOMECINEMA> TV Samsung LE40B650 40" FullHD ◦ DVD Pioneer DV-310K ◦ AVR Yamaha RX-V359 ◦ SPK Dexon Allegro 5.0
    OTHERSTUFF> Mikrotik RB750GL ◦ HP PS1810-8G ◦ UniFi AP AC LR ◦ OKI MB461
    ◦ Canon PiXMA MG5350

  17. #17

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    Citace Původně odeslal Marty Zobrazit příspěvek
    Aha, dobrý tip, tak na tom Atom není taky tak zle.

    Kód:
    [    2.832149] raid6: int64x1    323 MB/s[    2.900076] raid6: int64x2    507 MB/s
    [    2.968034] raid6: int64x4    595 MB/s
    [    3.036042] raid6: int64x8    713 MB/s
    [    3.104057] raid6: sse2x1     619 MB/s
    [    3.172041] raid6: sse2x2    1128 MB/s
    [    3.240027] raid6: sse2x4    1981 MB/s
    [    3.240032] raid6: using algorithm sse2x4 (1981 MB/s)
    Jinak včera jsem si s tím hrál už na gigabitu (přes FTP, SMB i iSCSI) a mám tam nějakej větší problém, asi špatnej kabel či co, každopádně si to dělalo úplně co chce... občas kolísalo kolem 10MB/s a pak nějak padlo na rychlosti kolem 4MB/s... laboroval jsem ale i s MTU, takže bůh ví, co jsem domrvil

    Takže další krok bude pořízení slušné kabeláže. Zajímavé ale bylo, že switche nehlásí žádné errory na linku a spojí se na 1000/FDX.
    OS taky nehlasi zadne errory na te lince?

    Jinak zlate pravidlo MTU je, ze musi byt uplne stejne na vsech strojich v segmentu.
    Hrrrr, will you stop using people as human driven search engines? Google.com has all the answers you need.

  18. #18

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    Nemuzu rict, ze bych tomu zrovna rozumnel, ale vsechna mereni vykonu XORu (pro RAID) anebo rychlosti sifrovacich algoritmu (pro TrueCrypt etc.) mi pripadaji velmi malo vypovidajici. Zasadni rozdil je imho v tom, ze neni prakticky mozne pouzit DMA. V normalim modu mate nejaky blok pameti, ktery potrebujete dostat na disk, procesor zinicializuje prenos a zbytek se dodela sam, neni nutne protocit vsechna data pres procesor.

    V momente, kdy nad temi daty potrebujete spocitat XOR nebo v horsim pripade je zasifrovat nutne musite vsechno pres procesor propasirovat a rozhodne to nemuze fungovat tak, ze CPU spocita XOR pro vsechna data najednou tou rychlosti, kterou si muzete zmerit, pak je hotovo a jede se jako normalne. IO operace jsou vyrazne pomalejsi, bude tam hodne, hodne context-switchu a ve vysledku bude procesor castecne zaneprazdneny danou IO operaci po celou jeji dobu. Vyvedte me nekdo prosim z omylu, ale presne takhle si ja vysvetluju, ze laptop se sifrovanym diskem je citelne pomalejsi nez ten s nesifrovanym diskem, at jsou testy vykonu ohromujici jak chteji.

    Mluvim samozrejme softraidu a softsifrovani...
    Lenovo X200 | Lenovo Ultrabase | Sennheiser HD 595 | Fujitsu Siemens P19-2 Black | Logitech Internet Navigation Keyboard | Logitech VX Revolution

  19. #19

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    Citace Původně odeslal frelichl Zobrazit příspěvek
    ...
    takhle by to bylo, pokud by nad tim nikdo vubec nepremejslel a udelal to nejjednodussim zpusobem ...

    jinak ale staci obetovat trochu pameti na buffery a neni problem ...

    viz. zapis na
    Kód:
    Cipher name:    aes
    Cipher mode:    xts-essiv:sha256
    Hash spec:      sha512
    Kód:
    Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
    sdc               0.00     0.00    0.00  475.00     0.00   211.21   910.64     0.26    0.55    0.00    0.55   0.47  22.50
    dm-0              0.00     0.00    0.00  475.00     0.00   211.21   910.64     0.22    0.46    0.00    0.46   0.39  18.70
    sdc               0.00     0.00    0.00  557.00     0.00   247.74   910.91     0.30    0.54    0.00    0.54   0.45  25.10
    dm-0              0.00     0.00    0.00  557.00     0.00   247.74   910.91     0.26    0.46    0.00    0.46   0.39  21.60
    sdc               0.00     0.00    0.00  495.00     0.00   220.21   911.11     0.28    0.56    0.00    0.56   0.47  23.30
    dm-0              0.00     0.00    0.00  495.00     0.00   220.21   911.11     0.23    0.47    0.00    0.47   0.40  19.80
    Kód:
    ----total-cpu-usage---- ---system-- ---io/sdc-----io/dm-0-- --dsk/sdc-----dsk/dm-0-
    usr sys idl wai hiq siq| int   csw | read  writ: read  writ| read  writ: read  writ
      0  83   0  15   0   3|4592  3045 |   0   507 :   0   507 |   0   225M:   0   225M
      0  96   0   2   0   2|4728  1249 |   0   619 :   0   620 |   0   275M:   0   275M
      0  78   0  21   0   1|5363   881 |   0   486 :   0   488 |   0   217M:   0   217M
      0  78   0  21   0   1|5379  1033 |   0   479 :   0   477 |   0   212M:   0   213M
    context switchu tam moc neni a preruseni taky ne (vzhledem k tomu, ze 4000 je klidovej stav pri 4 CPU a HZ=1000 kernelu)
    HW: 1x Xeon E5504, Areca 1680, 5x2TB WD2002FYPS RAID6, 6GB RAM

    (samozrejme se jedna o velmi jednoduchej test-case - sekvencni zapis na fs)
    (ty vypisy jsou chycene v rozdilnych casech - jsou spis informativni, nez aby mely velkou vypovidaci hodnotu)
    (zkusim jeste najit nezatizenej sw raid5/6 ...)

    A nemuzu ted narychlo najit benchmark kernelove implementace AES256-XTS, ale pro obrazek rychlost OpenSSL implementace AES-256-CBC pri vyuziti vsech 4 jader (kernel ma AES implementovany v assembleru a tim padem o neco rychlejsi).
    Kód:
    The 'numbers' are in 1000s of bytes per second processed.
    type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
    aes-256 cbc     171594.18k   179896.87k   182058.07k   182586.71k   182591.49k
    btw. marty - nahod komplet konfigurak ietd ...
    Naposledy upravil Fox!MURDER; 30.11.2011 v 12:37.
    Hrrrr, will you stop using people as human driven search engines? Google.com has all the answers you need.

  20. #20
    Senior Member Avatar uživatele HollyG
    Založen
    12.01.2004
    Bydliště
    Praha
    Věk
    38
    Příspěvky
    1 054
    Vliv
    271

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    Ja tedy notebook s sifrovanym diskem pouzivam a ze by byl nejak extra pomalejsi to mi neprijde
    Lidi o mně říkají, že jsem flegmatik. Mně je to ale jedno!
    I'm not arrogant...I'm just better than you!

  21. #21

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    Fox: jasne, nerikam, ze je to udelane tak hloupe, ale princip je jasnej: vsechno musi projet pres registry procesoru, ze to jde udelat blokove je samozrejme podstatna optimalizace, ale jde to vzdycky delat po rozumnych blocich?

    HollyG: nerikam, ze je to v prumernem pripade extra pomalejsi, ale jsou situace, kdy notebook se sifrovanym diskem bezpecne poznam. Ale taky samozrejme zalezi na konkretni implementaci, specialne ta, co mam na pracovnim notebooku mi pekne pije krev.
    Lenovo X200 | Lenovo Ultrabase | Sennheiser HD 595 | Fujitsu Siemens P19-2 Black | Logitech Internet Navigation Keyboard | Logitech VX Revolution

  22. #22

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    Citace Původně odeslal frelichl Zobrazit příspěvek
    Fox: jasne, nerikam, ze je to udelane tak hloupe, ale princip je jasnej: vsechno musi projet pres registry procesoru, ze to jde udelat blokove je samozrejme podstatna optimalizace, ale jde to vzdycky delat po rozumnych blocich?

    HollyG: nerikam, ze je to v prumernem pripade extra pomalejsi, ale jsou situace, kdy notebook se sifrovanym diskem bezpecne poznam. Ale taky samozrejme zalezi na konkretni implementaci, specialne ta, co mam na pracovnim notebooku mi pekne pije krev.
    ono ani tak neni problem v rozdeleni do bloku ... koneckoncu to v blocich musi byt vzdy.
    problem je v tom, ze kdyz to nemas v blocich, musis precist co uz na disku je, zmenit to, co zmenit chces a zase to zapsat (a to plati jak pro raid - problem pri velkem stripe, tak pro sifrovani - tam bloky nastesti nejsou tak velke)
    a nakonec, marty ma problem i se ctenim a to v raid5 skrz cpu projit nemusi ...
    Hrrrr, will you stop using people as human driven search engines? Google.com has all the answers you need.

  23. #23
    Administrátor マツダ mince Avatar uživatele Marty
    Založen
    07.10.2002
    Bydliště
    Praha, Sanctuary
    Věk
    41
    Příspěvky
    8 225
    Vliv
    300

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    Citace Původně odeslal Fox!MURDER Zobrazit příspěvek
    OS taky nehlasi zadne errory na te lince?
    Ověřím.

    Citace Původně odeslal Fox!MURDER Zobrazit příspěvek
    Jinak zlate pravidlo MTU je, ze musi byt uplne stejne na vsech strojich v segmentu.
    Co na to switche? Když nastavím nějakou velkou velikost, a switch to nebude umět, co se stane?
    Hledal jsem hledal a můj hlavní switch (v routeru Edimax BR6574n) to snad i umět má (ač jsem tu kdysi tvrdil něco jiného).
    Trochu mi v tomto tématu chybí teoretický základ, takže budu muset trochu nastudovat, vo co jde.
    (jak je to s hlavičkou, kolik má bajtů? 14 nebo kolik?)


    Citace Původně odeslal Fox!MURDER Zobrazit příspěvek
    btw. marty - nahod komplet konfigurak ietd ...
    Kód:
    marty@tix:~$ sudo cat /etc/iet/ietd.conf | grep -v \#
    
    Target iqn.2003-08.net.myslenka.grisu:vFile1
            Lun 0 Path=/mnt/data/volumes/iscsi_hdd_01.img.backup,Type=fileio,IOMode=ro
    
    Target iqn.2003-08.net.myslenka.grisu:CDs
            Lun 0 Path=/mnt/data/volumes/ubuntu-11.04-desktop-amd64.iso,Type=fileio,IOMode=ro
            Lun 1 Path=/mnt/data/volumes/win7x64.iso,Type=fileio,IOMode=ro
    
    Target iqn.2003-08.net.myslenka.grisu:InstXP
            Lun 0 Path=/mnt/data/volumes/iscsi_hdd_02.img,Type=fileio,IOMode=wt
    
    Target iqn.2003-08.net.myslenka.grisu:vFile3
            Lun 0 Path=/mnt/data/volumes/iscsi_hdd_03.img,Type=fileio,IOMode=wt
    CUBE> 3570K IHS mod@ 4.4 GHz + NH-U9B ◦ 16 GB ◦ ASUS P8Z77-M ◦ HD7850 2GB @ 1110/5480 + Mk 26 ◦ 240 GB SSD ◦ SS-II 380 W ◦ LIAN LI PC-V351B plexi mod ◦ LG IPS231p
    WORK> HP EliteBook 840 G5 ◦ i7 8550U 1.8/4.0 GHz ◦ 32 GB DDR3 ◦ 512 GB nVME SSD ◦ 14.1" 1920x1080 LED + 2x 24" ASUS FullHD ◦ Win10 Enterprise
    SERVER> HP ProLiant Microserver Gen8 ◦ Intel Core i5-3540T ◦ 16 GB DDR3 ◦ 180 GB SSD + 4 TB WD GREEN + 3x3 TB WD RED RAID5 ◦ 10GbE NIC
    PHOTO> Canon EOS 70D ◦ EF 70-200/4L ◦ EF-S 10-18 STM ◦ EF 50/1.8II ◦ EF-S 40/2.8 STM ◦ Yongnuo YN-568EX ◦ Tamrac 5534
    HOMECINEMA> TV Samsung LE40B650 40" FullHD ◦ DVD Pioneer DV-310K ◦ AVR Yamaha RX-V359 ◦ SPK Dexon Allegro 5.0
    OTHERSTUFF> Mikrotik RB750GL ◦ HP PS1810-8G ◦ UniFi AP AC LR ◦ OKI MB461
    ◦ Canon PiXMA MG5350

  24. #24

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    Jen tak bych zkusil u nejakyho targetu nastavit
    Kód:
    InitialR2T no
    ImmediateData yes
    MaxRecvDataSegmentLength 262144
    MaxXmitDataSegmentLength 262144
    popripade
    Kód:
    IOMode=wb
    pokud budes resit zapis ...

    co se MTU tyce, tak to je dylka segmentu, takze hlavicky neres (pokud nepouzivas VLANy) ...
    pokud mas na strojich vetsi mtu, nez umi switch, tak nejspis proste neprojdou, resp. dojdou poskozeny. (tipuju, hadam zavisi kus od kusu)
    pokud mas na ruznych strojich ruzne mtu v jednom segmentu site, tak je dost mozne, ze ti napr. filetransfery budou fungovat jen jednosmerne, pricemz ping se bude zdat ok.
    btw. jsi si jisty, ze to ten edimax umi? ted jsem narychlo nenasel nic, co by tomu nasvedcovalo, resp. urcite ne s orig firmware ... nejspis i proto, ze vetsinou se wifi k ethernetu bridguje a to by s velkym mtu asi fungovalo spatne ...
    Hrrrr, will you stop using people as human driven search engines? Google.com has all the answers you need.

  25. #25
    Administrátor マツダ mince Avatar uživatele Marty
    Založen
    07.10.2002
    Bydliště
    Praha, Sanctuary
    Věk
    41
    Příspěvky
    8 225
    Vliv
    300

    Standardní Re: Výkon iSCSI přes ethernet, optimalizace

    Dík moc.
    S tím nastavením MTU mě mátlo, že ve Win ovladači Atherosí síťovky v desktopu byl defaultní údaj 1486, zatímco na NASu v linuxu to je 1500 (tj. odhaduji, že na Win to ovladač bere bez hlavičky).

    V současné době mám v segmentu víc zařízení - bude problém, když budu testovat různá nastavení (MTU) jen na dvou z nich? Z toho, co jsi psal, mi přijde, že to musí být nastaveno i na ostatních zařízeních, i když s nimi nekomunikuji...

    Jinak asi to udělám tak, že NAS na čas vezmu a přemístím ho desktopu, abych eliminoval i problém délky a/nebo kvality kabelu...

    S tím edimaxem si jistý vůbec nejsem, a jak jsem zmínil, jsem nakloněn výměně... jen vybrat něco vhodného, viz jiná diskuze Zatím jsem se k tomu neodhodlal/nedokopal. (čím dál víc mě tam visí myšlenka pouze drátového routeru a malého samostatného APčka.
    CUBE> 3570K IHS mod@ 4.4 GHz + NH-U9B ◦ 16 GB ◦ ASUS P8Z77-M ◦ HD7850 2GB @ 1110/5480 + Mk 26 ◦ 240 GB SSD ◦ SS-II 380 W ◦ LIAN LI PC-V351B plexi mod ◦ LG IPS231p
    WORK> HP EliteBook 840 G5 ◦ i7 8550U 1.8/4.0 GHz ◦ 32 GB DDR3 ◦ 512 GB nVME SSD ◦ 14.1" 1920x1080 LED + 2x 24" ASUS FullHD ◦ Win10 Enterprise
    SERVER> HP ProLiant Microserver Gen8 ◦ Intel Core i5-3540T ◦ 16 GB DDR3 ◦ 180 GB SSD + 4 TB WD GREEN + 3x3 TB WD RED RAID5 ◦ 10GbE NIC
    PHOTO> Canon EOS 70D ◦ EF 70-200/4L ◦ EF-S 10-18 STM ◦ EF 50/1.8II ◦ EF-S 40/2.8 STM ◦ Yongnuo YN-568EX ◦ Tamrac 5534
    HOMECINEMA> TV Samsung LE40B650 40" FullHD ◦ DVD Pioneer DV-310K ◦ AVR Yamaha RX-V359 ◦ SPK Dexon Allegro 5.0
    OTHERSTUFF> Mikrotik RB750GL ◦ HP PS1810-8G ◦ UniFi AP AC LR ◦ OKI MB461
    ◦ Canon PiXMA MG5350

Informace o tématu

Users Browsing this Thread

Toto téma si právě prohlíží 3 uživatelů. (0 registrovaných a 3 anonymních)

Podobná témata

  1. Jak na boot Win7 z iSCSI (diskless) ?
    Založil Aigor v sekci fóra Windows 7
    Odpovědí: 21
    Poslední příspěvek: 08.03.2013, 09:08
  2. Optimalizace PC – rozdeleni HDD
    Založil sfinga v sekci fóra Pevné disky a řadiče
    Odpovědí: 24
    Poslední příspěvek: 10.06.2009, 21:55
  3. Optimalizace Windows XP
    Založil Charmian v sekci fóra Ostatní operační systémy
    Odpovědí: 24
    Poslední příspěvek: 15.08.2007, 09:06
  4. [C] Optimalizace programu
    Založil Anatolij v sekci fóra Programování
    Odpovědí: 17
    Poslední příspěvek: 02.09.2005, 13:15

Klíčová slova k tématu

Pravidla přispívání

  • Nemůžete zakládat nová témata
  • Nemůžete zasílat odpovědi
  • Nemůžete přikládat přílohy
  • Nemůžete upravovat své příspěvky
  •