Server s durazem na nizkou spotrebu

[Gargamel]

Koukam, ze tohle tema se nehodi do zadne standardni kategorie Mam jeden blbej dotaz, ktery mi napomuze v rozhodovani pri stavbe noveho serveru. Resp. jsem docela rozhodnuty, jen si chci overit nasledujici teorii:

Nuze, predstavme si, ze platime ucty za elektrinu a rozdil mezi stalou spotrebou 50W a 100W je docela zasadni (podle mych propoctu cca 2000Kc rocne). To je taky ma hlavni motivace - levny provoz.

Po dlouhem patrani jsem omezil vyber na dva kandidaty:
1. Atom D525 (13W TDP) + ICH9R (4.3W TDP), 2x 2GB SO-DIMM DDR3 moduly (2x 0.6W)
2. Xeon E3-1220L (20W TDP) + C204 (6.1W TDP), 2x 4GB ECC DDR3 moduly (2x 2.338W)
Zbytek komponent bude stejny, porizovaci naklady neberme v potaz.

Typicke (=dlouhodobe, staly prumer) zatizeni CPU pro me pouziti (hruby odhad) bude cca 15% pro Atom a 5% pro Xeon s obcasnymi spickami na 100%, ale neprilis castymi. To take znamena, ze procesor nebude temer nikdy v deep sleep stavech, ale pobezi na nejnizsi frekvenci dle EIST.

Cela tahle sranda s TDP je ale na nic, protoze me zajima celkove spotrebovana energie. Rozdil je predevsim v tom, ze vykon Atomu je velice rozdilny od Xeonu a urcita operace bude trvat vyrazne delsi cas, vyrazne delsi cas tak bude spotrebovavat energii. Kdyz to vezmeme do extremu, dostaneme se k podobnym vysledkum: http://www.silentpcreview.com/files/...s/perf8-wh.gif (puvodni clanek zde, uvedeno jen pro ilustraci).

Zajimalo by me, jaky na to mate nazor, jestli jste nekdo nekdy neco takoveho meril. V konecnem dusledku muze byt Atom jen o par Wattu uspornejsi a investice do nej se nevyplati kvuli omezene platforme a nulove rezerve vykonu. Naopak rozdil 15-20W by menil situaci.

Podotykam, ze pro me potreby bude i vykon Atomu dostacujici, resp. neomezujici. Samozrejme rezerva ve vykonu je vzdy dobry bonus.

[Aigor]

Obávám se, že tohle se dá jednoznačně pouze vyzkoušet.

Jinak zajímavá úvaha - sám už pár dní uvažuju o založení podobného tématu, protože silně zvažuju stavbu vlastního serveru. Proti Atomu mluví požadavek na občasný nárazový vyšší výkon a pro Atom zase spotřeba. Z tohoto úhlu pohledu to ale nevypadá tak zle.
Sám si ale netroufám odhadovat reálný výkon, už pár let nesleduju vývoj HW, takže netuším jak moc jsou CPU schopné se uspávat při nečinnosti.

[MadCap]

Kuk na toto http://pctuning.tyden.cz/navody/zakl...i-server-1-dil a inak spotreba - náklady a kompromisy pre dosiahnutie určitých veľmi nízkych hodnôt sa nikdy nevrátia.

[Aigor]

Ten seriál je zajímavý, ale sám se do podobného experimentu rozhodně pouštět nehodlám - shánět exotický HW někde na eBay mi nejde dohromady s pojmy "server" a "spolehlivost". S druhou částí souhlas. Nicméně náklady na pořízení jsou i tak pořád nižší než kupovaný NAS.

[Gargamel]

Obávám se, že tohle se dá jednoznačně pouze vyzkoušet.

Ano, je to hodne specificky dotaz a nejlepsi by bylo to vyzkouset, kdyby byla moznost (ale dve serverove desky mi jen tak nepujci...). V praci mame lab a kolegove se primo zabyvaji power managementem a optimalizaci systemu. Kazdopadne az to budu mit postavene, tak to taky poradne promerim.

Sám si ale netroufám odhadovat reálný výkon, už pár let nesleduju vývoj HW, takže netuším jak moc jsou CPU schopné se uspávat při nečinnosti.

Staci si pustit powertop a ten ti sam rekne, kde mas v systemu mezery, kde muzes usetrit a jak moc se CPU dostava do ruznych sleep stavu.

Kuk na toto http://pctuning.tyden.cz/navody/zakl...i-server-1-dil a inak spotreba - náklady a kompromisy pre dosiahnutie určitých veľmi nízkych hodnôt sa nikdy nevrátia.

Jo na to jsem koukal, je to pekne shrnuti znamych faktu, ale ta hlaska "Proto u serveru platí, že na něm nikdy neprovádíme nic jiného než jeho administraci!" je naprosto usmrcujici Je to vsechno o kompromisech, at uz penezitych nebo funkcnich, s tim jsem smiren.

[Aigor]

Staci si pustit powertop a ten ti sam rekne, kde mas v systemu mezery, kde muzes usetrit a jak moc se CPU dostava do ruznych sleep stavu.

Myslel jsem tím "za předpokladu, že ho nemám na stole", ale jinak taky zajímavej tip na program. Obvykle si povídám jen s wattmetrem.

...Je to vsechno o kompromisech, at uz penezitych nebo funkcnich, s tim jsem smiren.

Přesně tak to taky vidím. Nejde říct, že "server" bude jen tohle a tohle. Já jsem například namlsán myšlenkou, že ho využiju i na on-line enkódování videa pro streamování filmů na iPad. Na tohle můžu s Atomem zapomenout.

[Gargamel]

Ha, zrovna nam kolega udelal prednasku o IPMI a dozvedel jsem se, ze sdruzene BMC na jedne fyzicke sitovce filtruje IPMI packety, tzn. nejaky UDP port preposila druhe MAC, cimz efektivne vytvari packet loss protokolum s dynamickym alokovanim portu. No a vetsina serverovych Atom boardu to ma zrovna tak udelane, takze muj vyber je tim padem jasny (a nakonec to cele padlo na vyberu desky...).

[Sasa]

Mohu se zeptat proc pro tvuj vyber platformy neni prijatelne AMD a napr Zacate ?

[monsoon]

Zacate je jen žravější varianta Atomu díky relativně velké grafice, která v serveru moc uplatnění nenajde, takže tady bych žádnou výhodu neviděl.

[PetrT]

Při příležitosti tohoto threadu jsem se podíval s watmetrem na můj "server".
Start: 100W
Idle (běží ftp, samba, torrenty): 75W
Load (AirVideo s online převodem 720p videa pro iPad): 95W

HW: 45W Sempron 2.7GHz, AMD760G, 1x1GB DDR3, 4x 5400ot Samsung F2, 1x 7200ot Maxtor, cca 400W Seasonic Energy Knight
(Atom a podobné hračky mít nemůžu, nezvládají online převod videa)

Jakou očekáváš Gargamele spotřebu v idle na svém HW ?

Snímek z PowerTop zde. Kromě toho, že při běžné činnosti se CPU fláká na 800MHz z toho ale nic nepoznám.

[Gargamel]

Mohu se zeptat proc pro tvuj vyber platformy neni prijatelne AMD a napr Zacate ?

AMD v podstate neznam, nesleduju, nemam zkusenosti a jako platformu nemam vyladenou. To je asi hlavni duvod, mam odzkousene Inteli AHCI radice, vim jak se k nim chovat, jak nakonfigurovat kernel a mdraid k tomu. Takhle mi par stroju bezi uz nekolik let a nemam s nimi problemy, tzn. taky zadny duvod prechazet jinam. U AMD bych asi musel koupit poradny radic a ten stoji penize a zere energii. Navic Supermicro dela jen Intel, Tyan ma z AMD jen desky pro Opterony, byl by vubec problem najit rozumnou desku.

edit: Jeste jsem zapomnel na sitovky - Intel 82574L je vicemene standard a nic moc jineho bych nechel. Broadcom se da jeste snest, BCM5755 mi tu bezi celkem v pohode. Je krasne videt, jak Tyan do desek pro AMD cpe Inteli sitovky

[Gargamel]

Jakou očekáváš Gargamele spotřebu v idle na svém HW ?

Snímek z PowerTop zde. Kromě toho, že při běžné činnosti se CPU fláká na 800MHz z toho ale nic nepoznám.

Pekne, je potesujici videt bezici JRE bez zbytecnych wakeupu. Spotrebu v idle bych rad videl tak mezi 50 - 60W (bez UPS a modemu), jako docela optimisticky predpoklad.

Vcera jsem zapojil wattmetr pred UPSku a zjistil docela velke kolisani uciniku (0.8 - 0.98 ) a prikon kolem 120W. Zdroj je taky myslim 400W EK. Z toho samotna UPS dela nejakych 80% ucinnost a jeste tam je modem (6W). Zbytek pripadne na 35W Celeron bez setricich modu, 4 DDR2 moduly a tri stare disky (+ par sitovek, wifi a balast okolo).

[Gargamel]

Takze serverik je postavenej, relativne vyladenej a pomalu se (po nekolika dalsich experimentech) pripravuje na ostre nasazeni. Docela zajimave jsou cisla spotreby, budu to sem hazet postupne.

Sestava: Supermicro X9SCM-F, Xeon E3-1220L, 2x 4GB Kingston ECC UDIMM DDR III 1.5V 1333MHz, Seasonic S12II-330
System je Gentoo Linux Hardened, v BIOSu je zaple PCI-e ASPM. System ma celou dobu aktivni BMC a dve gigabit sitovky s linkem up, treti sitovka spi.
Mereno (zatim) Voltcraft+ Energy Monitorem (obyc. bily bazmek do zasuvky).

Stav vypnuto (aktivni BMC, link up): 6.7W

Stavy v idle s plne bezicim systemem, nepripojen k internetu:

• 1x HDD 2.5" 5400rpm 60GB
  21.5W idle, ventilatory vypnute
  46.7W pri ctyrech nekonecnych smyckach v bashi, ventilatory vypnute
  27.7W idle, 3x 120mm ventilator na cca 1000rpm
• 1x HDD 2.5" 5400rpm 60GB + 3x HDD 3.5" 5900rpm 2TB
  40.7W idle, ventilatory vypnute
  49.7W sekvencni zapis na tri disky, ventilatory vypnute
  48.3W idle, ventilatory zapnute, vypnute nektere setrici rezimy (cca 2W rozdil)
  56.5W sekvencni zapis na tri disky, ventilatory zapnute, vypnute nektere setrici rezimy (cca 2W rozdil)
  +-75W temer full load se zapisem na disky, bez sitoveho provozu

[Marty]

Já jsem si včera taky koupil wattmetr a tak můžu přidat svůj report.

Konfigurace - Intel D510MO iNM10, Atom D510 dualcore 1.66GHz, 120W PicoPSU, 90W AC/DC adapter, 2x2GB DDR2 800, 3x Samsung F2 1.5TB

Zapnutí (roztáčení disků) - 65W
Běžný provoz - load kolem 15%, disky občas troškou chroustnou - 38W


Neměl jsem čas se zabývat měřením nějak detailně, ale v případě zájmu mohu bližší info podat. Zajímal mě hlavně ten start (neudržel mi to totiž 65W AC/DC adapter) a běžný provoz, ve kterém se systém většinu času nachází. Jede tam Debian Squeeze x64 a virtualbox s testovací verzí Windows Server 2003 R2 a SQL Server 2008 R2. Takže si to ani chvilku neodpočine...
Jo - disky se nevypínají a t.č. je to chlazené 120mm fanem na 5V, příští týden bude upgrade

[Gargamel]

Pekne, neni to teda extra velky rozdil, minimalne bych cekal lepsi efektivitu zdroje. Ja se ted pohybuju mezi 44 - 46W ve Fedore s bezicima Xkama, vyladenost systemu udela par wattu. Premyslim, jakym zpusobem uspat grafiku (v konzoli). Switch na boardu sice je, ale pak je vypnuta uplne a do BMC nic neleze.

[Marty]

Zásadní problém Atoma je ten, že podporuje max 4GB RAM a nemá VT-x. Dokud jsem tam neprovozoval virtualbox, tak mi i 1GB RAM bylo hodně a nic mě netrápilo...
Takže to Tvoje je moc pěkné

[Atreides]

Jak jsem zde postoval svuj homemade plexi server, tak jeho střeva jsou:

mb - ASROCK AD525PV3, Intel NM10, Intel Atom D525 (dual core), VGA, PCI, DDR3 800, SATA II, USB 2.0, GLAN, 6ch audio, mini ITX
ram - 2GB DDR3 1333MHz (deska je omezuje na 800MHz) CL9-9-9 KINGSTON BOX
hdd - 1TB Western Digital GREEN Power, Sata II
psu - Fortron FSP200-50GSV 200W micro SFX 80+ Bronze (úspora až 82,5% při nečinosti)
fan - 80 AKASA power - stočený na 65% (což je asi 1260 ot/min) - teplota cpu 32°C (max. 36°C)

A od od šéfa jsem měl půjčený přístroj, který měří aktuální i průměrnou spotřebu a dále vypočítává útratu za elektriku (samolitr ±).

Spotřeba při:
?? - startu zařízení si nepamatuji (a je mi v podstatě ukradená, páč server beží furt..)
32W - po startu kdy se nic nedělo
46W - nejvíce jsem viděl toto číslo
38,6W naměřený PRŮMĚR po týdením sledování - při stále zapnutém stavu.

Jinak pro upřesnění - říkám tomu server ale uvnitř jsou obyč. WinXP 32bit, a frčí tam IIS, php, ftp, vpn, mumble, torrent, sdílení po locale

[Gargamel]

48.3W idle, ventilatory zapnute, vypnute nektere setrici rezimy (cca 2W rozdil)

Je zajimave, ze po nekolika dnech klesla klidova spotreba na 43.8W ve stejne konfiguraci. Mezitim jsem dal trochu zahul diskum, kontrola povrchu v nekonecne smycce a nejake SMART extended testy. Mam za to, ze prave nove disky potrebuji prvnich par desitek hodin na vlastni self-check. Vsiml jsem si, ze disky po startu tak podivne chrochtaly, jakoby neustale seekovaly. Pri pristupu na disk na chvili ticho a pak znovu. Ted uz nic neslysim.

[Gargamel]

38,6W naměřený PRŮMĚR po týdením sledování - při stále zapnutém stavu.

Ano, to bych chtel taky zjistit, ale nejdriv tak za mesic, za dva, aby to byl dostatecne reprezentativni vzorek

[Atreides]

další věc je (tedy abych si zase tolik nefandil ), že to ftp a www mi běží až nyní a to jsem tuším během zapojeného watt metru neměl.
Nadruhou stranu ten "zelený" disk, tím že jsem se jednou nechal přesvědčit, že je úspornější, tak už vím jak se to projevuje - zápis na něj je 23MB/s MAX, ikdyž mám full gigabit síť... a není problém na jiné počítače zapisovat po síti 80MB/s.
I LEDka která ukazuje jak pracuje, tak při zápisu bliká stylem blik, tma..............., blik, tma............., - jo když naopak z disku kopíruju něco na pevný comp tak to frčí už těch 80 a to LEDka jen svítí....
Chci tím říct, že ikdyž by někdo nějak vehementě na "server" něco zapisoval nebo z něho četl, tak to nebude zas tak extra zatížený

[Peca-on-line]

Nadruhou stranu ten "zelený" disk, tím že jsem se jednou nechal přesvědčit, že je úspornější, tak už vím jak se to projevuje - zápis na něj je 23MB/s MAX, ikdyž mám full gigabit síť...

To je nějaký divný, mám několik WD Green 750GB a rozhodně mi zapisujou rychlejc, přesně bych musel změřit, ale 50+MB/s to je určitě. Jediný co mi na nich vadí jsou záseky související asi s parkováním hlaviček, ale to už je OT.

[Gargamel]

další věc je (tedy abych si zase tolik nefandil ), že to ftp a www mi běží až nyní a to jsem tuším během zapojeného watt metru neměl.

Jasne, proto je potreba udelat dlouhodobe mereni pri typickem zatizeni a pak to zprumerovat, tyhlety idle cisla bez trafficu moc nereknou.

Nadruhou stranu ten "zelený" disk, tím že jsem se jednou nechal přesvědčit, že je úspornější, tak už vím jak se to projevuje - zápis na něj je 23MB/s MAX, ikdyž mám full gigabit síť... a není problém na jiné počítače zapisovat po síti 80MB/s.
I LEDka která ukazuje jak pracuje, tak při zápisu bliká stylem blik, tma..............., blik, tma............., - jo když naopak z disku kopíruju něco na pevný comp tak to frčí už těch 80 a to LEDka jen svítí....
Chci tím říct, že ikdyž by někdo nějak vehementě na "server" něco zapisoval nebo z něho četl, tak to nebude zas tak extra zatížený

Tak to je divne, nekde tam mas uzke hrdlo (protokol ci sluzba?). Moderni systemy maji pametovou cache a syncujou na disk az po nejake dobe. Ja nemel problem dosahnout po siti ustalenych 115 MB/s na disk na starem (Core2) Celeronu, skrze NFS a filesystem s velkymi bloky.

[HollyG]

jj, chyba bude jinde, cvicne jsem si dal kopirovat z atom serveriku se zelenym WD diskem (1,5TB) a obycejnym SMB Win7->Win7 to kopiruje 80MB/sec cteni i zapis.
Brzdi to spise ten zpusob kopirovani, nebot s 7200RPM diskem 2TB je to prakticky stejne rychle.
Ono vice vypovidajici je ostatne kdyz si dam kopirovat primo na tom serveriku z disku na disk, uzske hrdlo disku je prave kolem tech 80MB/sec.

IMHO u tehle zelenych disku neni problem sekvencni zapis, ale nahodny. Mit na nem spusteny treba nejaky virtualni stroj je utrpeni.

[neveceral]

Ahoj,
chci si postavit v podstatě stejný server jako Gargamel s tím, případně zvažuji do budoucna ještě ati 5450, bude-li to nuné pro streamování videa přes DLNA, ale s picoPSU jako zdrojem. Jak velký zdroj byste mi doporučili z těchto PSU?
Jinak server bude sloužit primárně jako chytřejší NAS se šifrováním disků, proto jsem rozhodl pro E3 s podporou AES-NI, kupovat na to Atom asi nemá smysl s ohledem na shora uvedené rozdíly spotřeb?
Případně ještě zvažuji i HP Proliant N40L, ale vůbec nevím, jak velký výkon může mít AMD Turion II Model Neo N40L při šifrování disků, když nemá AES podporu. Šifrovat budu Bitlockerem a ne truecryptem.

Co si o tom myslíte? Předem díky za názory a pomoc.

[HollyG]

Atom na Bitlocker urcite nebrat, nejakou chvili jsem to tak provozoval, ale ta rychlost sla do kopru (ocekavatelne).

Na streamovani spise doporucuju nejakou "chytrejsi" krabicku na druhy konec, nez resit nejake re-enkodovani na serveru.