Stavba webserveru - vyber distra a featury?

[Petrik]

distro: ja pouzivam k naproste spokojenosti ubuntu, vyhoda je ve velmi siroke uzivatelske zakladne a 5-ti lete podpore. Debian, ze ktereho ubuntu vychazi, je take velmi pouzivane serverove distro, ktere musim rovnez doporucit. Dale mam zkusenosti s OpenSuSE, ale tam to obcas trochu skripe, jako napr. ze update kernelu smaze stavajici a casto nedokaze zkompilovat initrd nebo rozbije gruba, takze server pak nenajede, ale jinak to neni vylozene spatne distro. nevyhoda je support jen 2 roky. Gentoo je podle meho soukromeho nazoru vhodne leda tak na hrani si na desktopu. To prohlasuji po te, co se mi jej celkem 3x v ruznou dobu nepodarilo udrzet ve funkcnim stavu dele nez 3 dny (pokazde selhalo emerge z nejakeho sloziteho neznameho duvodu a ende).

FS: na reiserFS pozor, predevsim v novych jadrech uz nemusi fungovat uplne dobre, protoze se uz o nej stara snad jen jeden kernel hacker a obavam ze, ze jiz neni tak dobre testovan, jako napr. ext3/4. Pokud jej clovek vylozene nepotrebuje (velke mnozstvi malych souboru, napr. 60tis v jednom adresari a pod), radeji nepouzivat, do budoucna to bude jen horsi. Doporucuji ext3, v novych jadrech se uz vykonove dotahuje na reisera a navic pujde upgradovat na ext4, az jej shledas dostatecne stabilnim (takze treba v jadre 2.6.32 nebo tak neco). Dale je velmi stabilni, pouzivam ho velmi dlouho na mnoha serverch a na rozdil od xfs, ktere jsem testoval, jsem nikdy neprisel ani o jeden soubor (u XFS klasicke zkraceni souboru na 0 byte po trvdem resetu). Navic ext4 je rychlejsi skoro ve vsem nez XFS a je to budocnost (pracuje na nem nejvice vyvojaru). Dale na ext2/3 existuji recovery SW, coz u ostatnich FS muze byt problem.

LVM: pokud bys chtel pouzit MD RAID, tak LVM ne, protoze to vyrazne MD RAID zpomaluje, u HW RAIDu to je urcite sikovna vec.

mimochodem, co mas za zelezo?

[Fox!MURDER]

Gentoo je podle meho soukromeho nazoru vhodne leda tak na hrani si na desktopu. To prohlasuji po te, co se mi jej celkem 3x v ruznou dobu nepodarilo udrzet ve funkcnim stavu dele nez 3 dny (pokazde selhalo emerge z nejakeho sloziteho neznameho duvodu a ende).

tohle me docela rozesmalo zajimavej pristup. i kdyz uznavam, ze jsem kdysi taky nenavidel rpm kvuli tomu, ze mi prisel nejjednodussi na rozbiti (a vlastne ho porad moc nemusim)

[Petrik]

tohle me docela rozesmalo zajimavej pristup. i kdyz uznavam, ze jsem kdysi taky nenavidel rpm kvuli tomu, ze mi prisel nejjednodussi na rozbiti (a vlastne ho porad moc nemusim)

sorry ale system kterej se pri banalnim update rozbije do te podoby, ze ani nenastartujou zakladni sluzby, podle meho nazoru neni uplne nejvhodnejsi na server. Navic co instalace to vpodstate original (bitove), u ktereho uz z principu neni jiste, ze bude fungovat. Binarni distra jsou na tom preci jen v tomto ohledu lepe a argument optimalizace na HW v dobe x64 dister pada. Ale toto je ma zkusenost, nikomu ji nechci vnucovat, proste jsem 3x gentoo zkusil, 3x se samo od sebe rozbilo a tim je to pro me uzavrene. debian mi na serveru vesele bezi 7. rokem (neni vystaven na netu). Mimochodem napr. v openSUSE se mi jeste RPM rozbit nepovedlo, coz se o apt-getu v debu ci v ubuntu rici neda, ale "apt-get install -f" to jisti.

A vite vubec co znamena ubuntu? Je to africke slovo ktera znamena "neumim nakonfit deba"

[Fox!MURDER]

sorry ale system kterej se pri banalnim update rozbije do te podoby, ze ani nenastartujou zakladni sluzby, podle meho nazoru neni uplne nejvhodnejsi na server. Navic co instalace to vpodstate original (bitove), u ktereho uz z principu neni jiste, ze bude fungovat. Binarni distra jsou na tom preci jen v tomto ohledu lepe a argument optimalizace na HW v dobe x64 dister pada. Ale toto je ma zkusenost, nikomu ji nechci vnucovat, proste jsem 3x gentoo zkusil, 3x se samo od sebe rozbilo a tim je to pro me uzavrene. debian mi na serveru vesele bezi 7. rokem (neni vystaven na netu). Mimochodem napr. v openSUSE se mi jeste RPM rozbit nepovedlo, coz se o apt-getu v debu ci v ubuntu rici neda, ale "apt-get install -f" to jisti.

A vite vubec co znamena ubuntu? Je to africke slovo ktera znamena "neumim nakonfit deba"

me se neomlouvej, ja to distro na serverech pouzivam pomerne casto a podobny problemy jsem mel asi dvakrat ... pokazdy to byl stroj na kterej se nekolik let nesahlo a ja zacal zbesile a bez rozmyslu upgradovat pres nekolik releasu ... Gentoo je proste potreba znat a umet s nim zachazet, pak je na server paradne pouzitelny.
A to ze je kazda instalace original naopak vidim jako vyhodu, protoze neni problem si ji upravit k obrazu svemu (a tim nemyslim jen tuning flagy gcc, ktery i v dobe x64 porad maj co rict).
Pokud se mu nekdo venovat nechce, nebo nemuze, pak to vubec neni vhodnej nastroj, spis naopak.
a btw. podle myho nazoru je na desktop je totalne nahovno, protoze bud musis pouzit binarni balicky (a to uz je lepsi pouzit nejaky binarni distro), nebo si na kazdej blbej soft hezky pockat ... coz, pokud clovek zrovna nema k dispozici 64 jader na distcc, bejva vcelku pruda ...

ale jinak se tu fakt nechci do krve hadat a doufam, ze to nezni prilis utocne ... opravdu, kazdej at pouziva, co mu vyhovuje to byla jen takova OT poznamka ...

Edit: btw. maj pravdu, pri dnesnich cenach pameti nema smysl nad tim uvazovat ... v pohode budes fungovat i bez nich ... ale proc je tomu pro to pohodli nedoprat?

[Smitka]

Diky za odpovedi.
Raiser tam tedy nedam, proctu si jeste jak je to s ext 4.
Na LVM se mi libi prave jednoduchost zvetsovani partitions a kdyz tam clovek pusti maily, tak nemuze dopredu tusit co to udela... V drivejsich dobach jsem se naucil davat /var/mail na samostatnej oddil, LVM mi ale prijde daleko lepsi reseni + sikovny snapshoty.

Stroj bude 2x xeon 2.8, 64bit, bez VT s 2G ram (mozna pridam, ale myslim, ze to nebude nutne). Pouziju na to jeden starsi server x336 a koupim do nej 2 novy sata disky do raidu 1 (hw).

Virtualizaci prave pri tomhle vyuziti moc nevyuziju... Ale sem tam delam projekty, ktery potrebujou specialni peci a ty se hodi na virtualu rozjet... (s IP problem nemam)

S centosem nikdo zkusenosti nemate? Ja bych do nej rad sel, protoze jsem zvyklej na fedoru 5. Budu ho za par hodnin zkouset na virtualu, zajima me hlavne, jak jde ovlivnit co se vsechno bude dal instalovat se softwarem. Na fedore jsem kvuli IMAPu musel instalovat kerberos + par dalsich veci.

V podstate jde o to, ze to delam komplet od piky a rad bych, aby to bez vetsich zasahu jelo aspon 2 roky, tak bych to chtel udelat poradne.

[Petrik]

2GB RAM je docela malo, doporucuji budto RAMku pridat, nebo zvazit pouzit x32 distro, protoze x64 precijen zabira vice RAM, coz muze u napr. u apache u hodne klinetu hrat roli. Mela by tam jit nejaka kingstone RAM a ta moc stat nebude.

[Smitka]

2GB RAM je docela malo, doporucuji budto RAMku pridat, nebo zvazit pouzit x32 distro, protoze x64 precijen zabira vice RAM, coz muze u napr. u apache u hodne klinetu hrat roli. Mela by tam jit nejaka kingstone RAM a ta moc stat nebude.

To budes mit pravdu, napadlo me se podivat na podobny server, kde mi bezi asi 70webu a berou si 2.3G.
Takze davam za pravdu a pridam 1-2G

[Petrik]

dej tam alespon ty 2GB, at je alespon nejaka diskova cache, at nemusi disky porad makat.

[admix]

A hlavne nezapomen udelat poctivejch 4GB swapu - muze se to zdat zbytecny, ale az se ti poprvy premnozej indiani, tak to muze stat mezi tebou a dalkovym resetem

[Petrik]

Souhlasim, swap je na web serveru s mene RAM nez 8GB prinosem, ale kdyz se ti indiani premnozi, tak to obvykle zacne swapovat tak brutalne, ze se server stane tak jako tak nepouzitelnym. To jsem videl na jednom gentoo serveru jedne nejmenovane "profi" hostingove firmy na serveru s 8GB RAM, pomohlo nahrani default konfigu z ubuntu. Takze 3x pozor s tuningem apache a mysql.

[Gargamel]

FS: na reiserFS pozor, predevsim v novych jadrech uz nemusi fungovat uplne dobre, protoze se uz o nej stara snad jen jeden kernel hacker a obavam ze, ze jiz neni tak dobre testovan, jako napr. ext3/4. Pokud jej clovek vylozene nepotrebuje (velke mnozstvi malych souboru, napr. 60tis v jednom adresari a pod), radeji nepouzivat, do budoucna to bude jen horsi. Doporucuji ext3, v novych jadrech se uz vykonove dotahuje na reisera a navic pujde upgradovat na ext4, az jej shledas dostatecne stabilnim (takze treba v jadre 2.6.32 nebo tak neco). Dale je velmi stabilni, pouzivam ho velmi dlouho na mnoha serverch a na rozdil od xfs, ktere jsem testoval, jsem nikdy neprisel ani o jeden soubor (u XFS klasicke zkraceni souboru na 0 byte po trvdem resetu). Navic ext4 je rychlejsi skoro ve vsem nez XFS a je to budocnost (pracuje na nem nejvice vyvojaru). Dale na ext2/3 existuji recovery SW, coz u ostatnich FS muze byt problem.

reiserfs 3.6 je v mainline kernelu uz skoro dekadu a za poslednich par let jsem s nim nemel zadny problem (az na drobne stale sockety v nekterych kernelech). Hans pracoval jen na ctvrte generaci, o trojkovou radu se staraji kernel maintaineri. Neda se rici, ktery fs je v lepsim stavu, i XFS melo nedavno drobne problemy.
Zrovna vcera jsem resil ztratu dat na ext4, nekolik poskozenych souboru (a zrovna glibc, nss) behem bezne prace s kancelarskymi aplikacemi (porad nevim, co se stalo, kernel 2.6.29 stable). Rozhodne bych mu dal jeste par let, zatim neni tak vyzraly, jako zmineny reiserfs nebo xfs. Pravda, s ext3 bude asi nejmin problemu, diky tomu, jak je ten fs jednoduchy, ale vykonnostne je to slabe kvuli interni strukture.

Obecne v poslednich kernelech sel vykon I/O subsystemu rapidne dolu a nikdo se tim moc nezabyva.

sorry ale system kterej se pri banalnim update rozbije do te podoby, ze ani nenastartujou zakladni sluzby, podle meho nazoru neni uplne nejvhodnejsi na server. ...

To je jen o vlastni neschopnosti, ja mam gentoo jako primarni system od leta 2003 a vzdycky jsem si za problemy mohl sam.
Jestli chces videt rozbity Debian, prijd se nekdy podivat (tim nechcu rict, ze je spatny, mam jej na nekolika produkcnich serverech, ale rozhodne to neni zadna spasa).

S centosem nikdo zkusenosti nemate? Ja bych do nej rad sel, protoze jsem zvyklej na fedoru 5.

Jestli jsi byl zvykly na FC5, budes v Centosu jako doma, protoze RHEL5/Centos5 vychazi z FC6. A z F12 bude pak RHEL6/Centos6. Co se tyce stability (konzervativnosti), je na tom jeste lepe nez Debian stable, kvuli dlouhemu release cyklu.

[Smitka]

Tak pristi tejden bych to mel postavit.

Vybral jsem tedy Centos5.3 po zkusenostech z virtualu, opravdu je to dost podobne FC5.

Na maily volim postfix+dovecot (s mysql), jeste si musim trosku pohrat s db dotazama, aby to bylo trosku komplexnejsi. Maily v maildiru.

FS velmi pravdepodobne dam ext3, sice tim uberu trochu vykon, ale nebude to zadnej mamuti server, tak to vadit nebude.

Server samotny bude mit ze zacatku 3G ram, dalsi dodam behem mesice (dosly). Dnes jsem do nej objednal 2*250G disky Seagate ES2.

V serverovne budu mit zarizeny 2 nezavisle vetve napajeni (na jedne zaloha), tak doufam, ze to pobezi bez problemu

[Jezevec]

ad ext4, o ztratach dat se vi, dochazi k nim pri aktualizaci/prepisu souboru a dle vyjadreni vyvojaru je to chyba aplikaci, ktery nedelaj co by mely (tusim jde o nejaky commit aby se ulozila cache). Ext3 tohle "resi" za vyvojare a proto je taky pomalejsi (protoze to dela vzdy, i kdyz netreba). Tusim se resila "naprava" ala ext3, ale bylo zamitnuto, protoze se vykon vratil temer na uroven ext3, mozna je na to nejaka konfiguracni volba.

Takze na serverovy nasazeni to rozhodne zraly neni.

[Gargamel]

ad ext4, o ztratach dat se vi, dochazi k nim pri aktualizaci/prepisu souboru a dle vyjadreni vyvojaru je to chyba aplikaci, ktery nedelaj co by mely (tusim jde o nejaky commit aby se ulozila cache). Ext3 tohle "resi" za vyvojare a proto je taky pomalejsi (protoze to dela vzdy, i kdyz netreba). Tusim se resila "naprava" ala ext3, ale bylo zamitnuto, protoze se vykon vratil temer na uroven ext3, mozna je na to nejaka konfiguracni volba.

Tohle je klasicky pripad fsync a protoze su zrovna v tymu, kde jsme nedavno vsechno (Gnome) upravovali na pouziti fsync (ci bezpecnejsi varianty write-temp&replace), muzu tento problem predem vyloucit. Navic se korupce stala na souborech otevrenych jen pro cteni (otevrene filedescriptory ld/aplikaci na pouzivane knihovny), kde ani XFS nema problem s truncate pri recovery zurnalu.

[admix]

Tyhle korupce kazdeho jenom otravuji

[svaca]

Tak pristi tejden bych to mel postavit.

Vybral jsem tedy Centos5.3 po zkusenostech z virtualu, opravdu je to dost podobne FC5.

Na maily volim postfix+dovecot (s mysql), jeste si musim trosku pohrat s db dotazama, aby to bylo trosku komplexnejsi. Maily v maildiru.

FS velmi pravdepodobne dam ext3, sice tim uberu trochu vykon, ale nebude to zadnej mamuti server, tak to vadit nebude.

Server samotny bude mit ze zacatku 3G ram, dalsi dodam behem mesice (dosly). Dnes jsem do nej objednal 2*250G disky Seagate ES2.

V serverovne budu mit zarizeny 2 nezavisle vetve napajeni (na jedne zaloha), tak doufam, ze to pobezi bez problemu

Pobezi to super, ke kombinaci postfix a dovecot doporucuju webmail (groupware) Groupoffice - je super . Delame GO ceskou podporu, ma intefrovanyho postfixadmina a je zdarma Maily v maildir jsou hlavne dobre kvuli zalohovani ...

[Smitka]

Pobezi to super, ke kombinaci postfix a dovecot doporucuju webmail (groupware) Groupoffice - je super . Delame GO ceskou podporu, ma intefrovanyho postfixadmina a je zdarma Maily v maildir jsou hlavne dobre kvuli zalohovani ...

To nevypada spatne, urcite to aspon vyzkousim, vetsinou nasazuju roundcube, ale tohle se zda o dost komplexnejsi

Tenhle tyden jsem dokoncil testovani na stroji, kde to pobezi a byl jsem vcelku spokojeny. Pred nasazenim to jeste jednou budu testovat, tak tam schvalne GO zkusim. Ted budu mit 14 dni utek z civilizace na chatu, ale az se vratim, tak se do toho pustim.

Jeste mi nasadil znamej brouka do hlavy, kdyz mi rekl, ze na velkejch serverech postfix a dalsi neberou konfiguraci z DB, ale z konfiguracnich souboru s tim, ze veskera administrace probiha v DB a z ni se potom konfiguraky generuji. Ze kdyz tak nahodou padne DB stroj, tak to sebou nevezme dalsi veci a taky se to lip pouziva v clusteru. Prislo mi to jako dobry napad, tak to asi taky tak udelam.