Jak na boot Win7 z iSCSI (diskless) ?

[Aigor]

Ahoj,

rád bych rozjel bezdiskovou stanici přes iSCSI. Na netu je vesměs spousta informací o tom, že to jde a je to podporováno, ale nějak se pořád nemůžu dopracovat k návodu jak přesně na to jít.

Na straně serveru bude také Win7, s podporou iSCSI by problém být neměl. Naopak si nedokážu představit co je potřeba splnit pro to, aby stanice natáhla jen přes síťovku OS a jak tento vůbec instalovat.

Nezkoušeli jste už něco podobného

[HollyG]

Sice to slysim poprve, ale treba s timto SW by to jit melo. Co jsem tak zbezne procet tak to vyuziva klasicky PXE boot, o dalsi uz se stara ten software (takova nahrada za M$ WDS server).
http://www.ccboot.com/boot-windows-7.htm

Jeste k tvemu dotazu co musi splnovat PC k instalaci ze site obecne, tak to je v BIOSu zapnuty PXE Boot a samozrejme podpora ze strany sitove karty (dneska uz snad vsechna PC).
Dalsi uz je starost pres sit natazeneho boot image/programu.

[Aigor]

Díky za link, z toho programu zatím moc moudrej nejsem. Dosud mě všechno vedlo k informaci, že Win už obsahuje podporu pro iSCSI nativně. Naopak PXE Boot (a z něj) podporu iSCSI má jen pár síťovek od Intelu za mastný peníze. Než zaplatím za SW nebo HW, chci mít jistotu, že to bude fungovat tak jak si představuju a hlavně s rychlostí, která nezabije celé řešení...

Mě diskless přijde jako optimální situace pro "tenkého klienta" k domácímu serveru. Na občasné surfování rodiny to stačí, PC bude dokonale tiché a bez disku i levnější. Celou "stanici" si na serveru snadno zazálohuju/obnovím, případné odvirování a další servis klidně přes terminál na serveru, žádné rozebírání, když dojde místo, disk se zvětší,... ideální stav.

[monsoon]

Windows 7 mají nativně podporu iSCSI jen v podobě klienta (Initiator), letmým googlením jsem našel třeba Nimbus MySAN, což by měl být free server (Target) pro Windows.
Bootovat ze sítě dnes snad umí takřka cokoli, nevidím důvod, aby podpora iSCSI měla být závislá na síťovce, vše potřebné by snad mohlo být na TFTP, ze kterého PXE klient bootuje.
Zkušenosti s tím nemám, ale tohle nevypadá špatně http://ipxe.org/ konkrétně http://ipxe.org/appnote/xp_2003_direct_install

[HollyG]

Vidis prvni omezeni Win7 jako serveru, W2k8R2 umi udelat iSCSI target z VHD souboru, Win7 ne. Mysleno s pomoci nastroju od M$.

[Marty]

Tak tohle snad budu muset vyzkoušet, to je mazec

[Aigor]

...W2k8R2 umi udelat iSCSI target z VHD souboru, Win7 ne...

Zní to hezky, ale kolikrát to v bězným provozu použiješ. Takže ne, zatím mě to nechává v klidu

Tak tohle snad budu muset vyzkoušet, to je mazec

No konečně slovo do pranice! Tak se do toho dej hned, ať to nemusím zkoušet sám
(stejně zatím čekám na HW)

[HollyG]

jj, vyzkousej, ja zkousel mit nainstalovany hry na SMB sharu, ale to dobrej napad uplne nebyl
iSCSI by mohlo mit znacne lepsi odezvy/funkcnost.

[Marty]

No konečně slovo do pranice! Tak se do toho dej hned, ať to nemusím zkoušet sám
(stejně zatím čekám na HW)

Na serverové části už pracuju, zítra zkusím rozchodit toho klienta.

[Marty]

No tak target mám rozchozený, nakonec to nebylo ani složité.
Initiator na WinXP i Win7 x64 fachčí, ale rychlosti jsou dost prapodivné - na gigabitu z notebooku (Win7 x64) mi to šlo tak kolem 15-20MB/s když jsem to zkoušel read benchmarkem z HDTune.
Na stovce (desktop, WinXP) mi to jede na limitu, tj. kolem 10MB/s.

Jdu teda zkusit rozchodit to bootování ze sítě...

(Target - IET na Linuxu s Atomem; Initiator - 2.08 pod XP)
HDTune_Benchmark_IET_____VIRTUAL-DISK.png

EDIT. ještě malý detail, LUN na Targetu je 16GB soubor na R5 poli přes mdraid z 3ks Samsungů F2, který mi dává kolem 110MB/s (hdparm -Tt).

[Marty]

Mno, tak musím konstatovat, že to je slušná m**ačka... Hlavně když člověk neví, kam přesně sáhnout

K výše uvedenému se mi podařilo rozjet TFTP, DHCP se správnou konfigurací, iPXE; jen mi to teď vytuhne, když se pokusím iPXE předhodit ten iSCSI LUN s předkonfigurovanou instalačkou widlí. (to je taky sranda todlencto)
Mno, dnes už na to kašlu, ale třeba se k tomu někdy vrátím

EDIT
OI! tak jsem to zakřikl, tam byla chyba na DHCP, už to fachá
IMG_0710.jpg


EDIT2.
a radost byla předčasná, instalátor skončí na hlášce, že to nejde...
("Na platformě x86 nejsou diskety vygenerované instalačním programem pro instalaci bez disku CD-ROM vhodné pro instalaci z disku CD-ROM.
V instalaci nelze pokračovat. Ukončíte ji stisknutím klávesy F3." )

[Aigor]

Gratulace a díky že ses do toho vůbec pustil!

Nejvíc mě vytočily už ty rychlosti - jako je fakt, že pokud by to mělo jet pod 60MB/s (tedy u mě ne s Atomem, ale i tak je to podivný), tak nemá smysl o tom ani uvažovat! Ty rychlosti jsou naprosto katastrofální a to všude čtu, jak je CIFS/Samba tragicky pomalá a iSCSI je optimalizovaný protokol hlavně na rychlost.
No tu drbačku s bootem, nějak už ani nemám chuť to zkoušet - s takovým výsledkem. Jak budu mít tu sestavu (podobnou stavím pro tchána), vyzkouším minimálně to iSCSI. Kdyby to šlapalo použitelně, vzdálený boot by byl zajímavý.

[Marty]

Ty rychlosti se mi taky zdají divné. S FTP z toho dostanu kolem 70-80MB, takže pochybuju, že podíl na pomalosti má procesor. Sledoval jsem to a při přenosech se fláká. Ještě bych to rád zkusil na 127.0.0.1, a to tak, že bych použil target jako virtuální disky do VirtualBoxových mašin.

Jinak samotný PXE boot je v pohodě, jen to chce mít chytřejší DHCP (já jsem strávil hodně času přenosem konfigurace z routeru na ISC DHCP server na NASu, který podporoval vše potřebné. TFTP je taky triviální a sehnat je třeba jen boot image (sral jsem se nejdřív s kompilací gPXE, ale výše odkazovaná iPXE zafungovala skoro hned.

[Marty]

Takže, trochu jsem si s tím ještě pohrál, nakonec to rozchodil a mám tu "Windows7 diskless boot via iSCSI HOWTO"


Potřebujeme:
(1) server s dostatečnou diskovou kapacitou a operačním systémem Linux (v našem případě Atom + 3x 1.5TB disk v RAID5 pomocí mdraid a Linux Debian Squeeze)
(2) klient s DVD mechanikou a síťovkou podporující PXE boot a se síťovou konektivitou na (1) (v našem případě běžný desktop s Pentiem E5200, 4GB RAM a onboard síťovkou Atheros na desce ASUS P5QL-E)


Step-by-step:
a. zvolit na serveru místo, kam budou ukládána (já jsem zvolil soubor na disku; dd if=/dev/zero of=/mnt/data/volumes/iscsi_hdd_01.img bs=1M count=16384)
b. na serveru nainstalovat iSCSI target, v našem případě zvolen IET (apt-get install iscsitarget iscsitarget-dkms)
c. nakonfigurovat IET. V defaultu je všechno povoleno a není třeba konfigurovat autentifikaci, stačí přidat konfiguraci konkrétního targetu

Target iqn.2003-08.net.myslenka.grisu:vFile1
        Lun 0 Path=/mnt/data/volumes/iscsi_hdd_01.img,Type=fileio,IOMode=wt

d. nainstalovat a nakonfigurovat tftp server (apt-get install tftpd)
d1. vytvořit /tftpboot s plnými právy pro všechny
e. stáhnout si iPXE image pro Intel UNDI - undionly.kpxe - a uložit ho do /tftpboot (tudíž není nutné updatovat Boot ROM na síťovce)
f. na serveru nainstalovat ISC DHCP server, pozor na stávající DHCP v síti (apt-get install isc-dhcp-server)
g. nakonfigurovat ISC DHCP server pro pevný lease pro našeho klienta (2) dle MAC adresy.
g0. nastavit adresu serveru našemu pevnému leasu (next-server ...)
g1. předhodit PXE image s iPXE našemu pevnému leasu (filename ...)
g2. zabránit "boot loopu" z důvodu opakovaného načítání iPXE image (if exists user-class...)
g3. při načteném iPXE sdělit adresu iSCSI targetu (option root-path... - toto už je option pro iPXE) - POZOR! Pro začátek necháme zakomentovaný, protože z něj ještě nechceme přímo bootovat.

host blackwhite {
  hardware ethernet 00:23:54:5e:7a:89;
  fixed-address 192.168.0.10;
  next-server 192.168.0.250;
  if exists user-class and option user-class = "iPXE" {
      filename "";
#      option root-path "iscsi:192.168.0.250::::iqn.2003-08.net.myslenka.grisu:vFile1";
  } else {
      filename "undionly.kpxe";
  }
}

...takže teď máme funkční a nakonfený iSCSI target i ISC DHCP server včetně TFTP. Můžeme začít instalovat Windows

h. na (2) použijeme DVD s Windows 7 (v mém příkladu Win7 HP x64), v BIOSu nastavíme bootování z DVD jako primární (měl jsem i odpojený HDD)
i. zapneme (2) a v bootmenu vybereme boot ze sítě. Komp by měl dostat adresu od DHCP a spustit iPXE. Pomocí Ctrl-B se dostaneme do příkazové řádky iPXE.
j. nakonfíme iPXE, tedy přidělíme adresu z DHCP a "namountujeme" iSCSI disk
j1. dhcp net0
j2. sanhook iscsi:192.168.0.250::::iqn.2003-08.net.myslenka.grisu:vFile1
j3. exit
k. mělo by se pustit bootování z DVD a s tím instalace Windows.
l. až bude po instalaci Windows, odkomentujeme řádek v konfigu DHCP a další bootování už pojede samo od sebe


A teď moje zkušenost s rychlostí - je to na 100Mb síti, takže nic moc reprezentativního až trochu poladím ten target, tak to zkusím po gigu.


Čerstvá instalace Windows 7 HP x64, jak dlouho trvaly části bootování:
10s inicializace PXE
5s inicializace iPXE a spuštění bootování z iSCSI
45s logo windows
10s od zobrazení kurzoru až po loginscreen
10s od odklepnutí hesla po zobrazení plochy



Uff

[frelichl]

On iSCSI zase tak strasne na rychlost optimalizovany neni a tezko byt muze, kdyz beha po ethernetu, rezie tam neni zrovna zanedbatelna. Podle me to urcite brzdi CPU, v druhe rade taky sitovej setup (dost se hodi podpora jumbo frames a tcp offloading pokud to sitovka/switch podporuje). Asi pred trema rokama jsem si s tim dost intenzivne hral v praci, zkousel vsechny mozne kombinace targetu/initiatorotoru a stejne jsem se nikdy nedostal nad 70-80 MB/s nebo neco takovyho a to jsem to zkousel na celkem solidnim zeleze (v te dobe jsme meli i Sun Fire X4150 zapujcenej na testovani, pak nekolik X2250). Nikdy jsem neprisel na to, co jsem delal spatne, popr. jestli to bylo to, co bych mel v danym setupu dostat, kazdopadne zaver byl ze jedine opravdu performance reseni je Fibre Channel, kterej je samozrejme cenove ehm totalne jinde :).

Kazdopadne od vymeny Atomu za nejaky solidnejsi procesor bych cekal dost vysoky narust vykonu.

[Marty]

Já jsem se právě na to vytížení koukal, když jsem měl klienta připojenýho přes gigabit a nepřišlo mi, že je v tom úzké hrdlo. Nicméně moc jsem se tím nezabýval.
Tady ještě nějaké testíky - nicméně rozhodně je zde bottleneck v tom stomegabitu... holt nemám gigovej drát mezi NASem a desktopem, ale pracuje se na tom
Testy ukazují, že to je dost zoufale pomalé, ale Windows jsou v praxi celkem normálně použitelné, nepřijde mi to nějak extrémně líné. Jako ze SSD to teda není, ale fachčí to.

iSCSI_boot.PNGHDTune_Benchmark_IET_____VIRTUAL-DISK_Win7.png

[Peca-on-line]

S iSCSI mám jen minimální zkušenosti, ale že by to viselo na procesoru, to se mi nějak nezdá (i když u Atomu člověk asi nikdy neví). Co jsem o tom četl, tak hodně je to citlivý na kombinaci block size na všech úrovních na obou stranách (některý kombinace se nemaj rády) a potom taky na nastavení cache na obou stranách.

[frelichl]

Uvidime, az to nekdo zkusi, treba se Martymu bude chtit nabootovat linux na nejakym normalnim kompu a otestuje ten target na nem. Druhej bottleneck muze byt initiator na widlich, uz jsem videl par problemu s vykonem site na widlich, ktere zustaly nevysvetleny.

[Marty]

Uvidime, az to nekdo zkusi, treba se Martymu bude chtit nabootovat linux na nejakym normalnim kompu a otestuje ten target na nem.

Na switchi s tím desktopem mám PowerMac G5 DP 2GHz, šlo by to rozjet na tom, no...
I když je otázka, jestli tohle považuješ za normální komp

[Marty]

Tak jsem si dovolil založit nový thread k ladění iSCSI, pokud někdo máte zkušenosti, uvítám každý podnět

[Marty]

Tak jsem se po delší době dokopal k tomu si pohrát se sítí a hlásím, že 9K frames na výkon prakticky vliv nemá... což potvrzuje, že atom asi fakt to úzké hrdlo nebude. V iptrafu je vidět, že po zapnutí jumbo frames je pps výrazně nižší při stejném Mbps. FTP mi nadále jede řádově 60-80 MB/s, iSCSI max 20-30 MB/s. Divný.

[HollyG]

Kdy uz tam nahodis ty Windows, ktery zvladnou max rychlost iSCSI targetu "nativne"