5 ISP a jedna sitova karta. Jak je pripojit?

[chinook]

Mam 5 ISP. Chtel bych si je zprovoznit vsechny. Bohuzel na FW mam do venkovni site jen jednu sitovku. Bude nutne dokoupit 4 sitovky? Nebo staci 5 ISP pripojit na switch a ten pripojit do externi sitovky na FW a tam nastavit vice adres...? Za predpokladu, ze kazdy je v jine siti.
Jsou nejaka uskali tohot reseni?

[Caleb]

Uskali tohoto reseni je takove, ze to nelze realizovat

Rozdeleni zateze je pro koncoveho uzivatele nerealizovatelny problem. Jedine k cemu by to slo vyuzit, je pokud by vypadl jeden poskytovatel, automaticky by se zasla pouzivat druha konektivita. Tohle by mel umet nejaky lepsi router (cisco, mikrotik).

[chinook]

Ja bych to vyuzival na rozdeleni ISP mezi jednotlive uzivatele. Dejme tomu, ze mam v siti 5PC, tak kazdemu PC bych pridelil jednoho ISP...

[Caleb]

Stejne to uplne dobre to nechapu

Jinak tohle by pochopitelne slo - napriklad s Mikrotik RB493, do kazdeho portu by si pripojil jednu "konektivitu" a pak by si zvlast kazdemu uzivateli v lokalni siti provadel 1:1 NAT, a pomoci nejakych routing-marku urcoval, kterou vychozi branou by dane IP z lokalni site chodilo do internetu.

[chinook]

Jo to je presne to co chci. Na FW je nat a za nim dejme tomu 5PC a ja chci aby melo kazde PC sveho poskytovatele. A rozdelim to mezi ne napr. pres routovaci tabulku.

[Fox!MURDER]

jde to v pohode... v linuxovym jadre potrebujes advanced router a pak jen pres 'ip' nastavit pravidla ...

[chinook]

JJ toto vim. Spis me zajima jestli neni lepsi koupit 5 sitovek misto switche.

[Fox!MURDER]

JJ toto vim. Spis me zajima jestli neni lepsi koupit 5 sitovek misto switche.

zalezi asi hlavne na tom, kolik toho chces procpat ... ale pokud ten jeden port nevyuzijes vic jak na ... dejmetomu 50% ... tak to imo nema smysl ...

[Marty]

A co na to řeknou ISP, kterým připojíš koncový dráty do jednoho switche?

[Fox!MURDER]

A co na to řeknou ISP, kterým připojíš koncový dráty do jednoho switche?

to je dobra otazka asi dost zalezi na tom, co jsou zac
edit: a taky je fakt, ze pokud nemas pevny ip ode vsech, tak taky budes mit problem ...

[chinook]

A co na to řeknou ISP, kterým připojíš koncový dráty do jednoho switche?

Prave toto me zajimalo. 3 PRIPOJENI jsou ADSL, takze tam si muzu nastavit jakou adresu chci. A mapovat porty. Ost 2 maji pevne adresy. Ted to mam spojene vse do switche a jede to bez problemu.
Ale taky neni problem dokoupit sitovky. Kdyz to ted jede muzu to tak nechat nebo mam radsi koupit ty sitovky?
Prece kdyz kazda IP je z jineho rozsahu, tak by nemelo vadit, ze jsem to spojil do switche. Nebo jo?

[Jezevec]

Technicky to nicemu nevadi. Je to principielne jedno, paac vlastni komunikace na nizsich vrstvach probiha z MAC na MAC adresu => komunikaci pro jiny rozsahy ISP nevidi.

Ostatne podobnou situaci jsem resil kdyz jsme menili konektivitu a potreboval sem po prechodnou dobu udrzet funkcni obe. Je to celkem easy zasah do routovacich tabulek. Mel sem ovsem v obou pripadech pevny IP.

[Fox!MURDER]

tam by moh bejt problem s broadcastama ... (treba dhcp prolejzajici z jiny site)

[Jezevec]

To zalezi na tom, jak to ma ISP nastaveno, za normalnich okolnosti by to mel pripadne zahodit.

Edit: Uz jen proto, ze nad klientem nema zadnou kontrolu a tudiz musi predpokladat uplne vsechno, trebas i to, ze si klient pusti dhcpserver a pusti ho i na venkovni rozhrani.

[Petrik]

Prave resim dost podobny problem. Mame 6 DSL pripojeni a v LAN cca 60 PC - "crawleru" na win a linuxu, ktere harvestruji data z inetu a dale cca 15 desktopu. Mym ukolem je zaridit automaticky load ballancing bez single point of failure. Pocitam s pouzitim dvou mikrotik routeru. Protoze crawleri pouzivaji pomerne hodne spojeni (kazdy radove stovky), jedina moznost je provadet NAT v mikotiku a modemy mit v rezimu bridge, tedy PPP bude vytacet mikrotik.

moje reseni:
Do kazdeho mikrotiku pripojit 3 DSLka a nechat PPP clienty nastavit 3 ruzne default GW a DNSka. Mikrotik by mel automaticky provadet load-ballancing mezi jednotlive GW. Do DHCP serveru, ktere pobezi na obou routerech (jeden authoritative a druhy ne) nastavim dve vychozi brany, tedy vnitri IP adresy obou mikrotiku. Windows XP i Linux by pak meli opet provadet automaticky load ballancing. Teoreticky by toto melo fungovat, wokna dokonce umi detekovat nefungujici branu a pouzivat jen tu funkcni, linux by to take mohl umet.

Otazka zni: nebude to problem pro aplikace vyuzivajici vice spojeni zaroven, jako napr. temer kazdy www prohlizec a pod? Obavam ze se kazde spojeni pak muze jit pres jinou branu, takze cilovy server jej uvidi jako dve ruzna spojeni z dvou ruznych IP adres a muze nastat problem, protoze nektere servery (paypal, banky..) kontroluji zdrojovou IP adresu jako ochranu uzivatelskych kont a podobne. Ma s tim nekdo nejake zkusenosti? Predem dekuji za jakekoli reakce.

[monsoon]

Nedavno jsem resil neco podobneho. Jsou dve moznosti:
1) Jedna sitovka a pomoci dot1q propojit se switchem.
2) Mit skutecne nekolik sitovek.

Pri 5ti pripojkach by se dalo jiz uvazovat o reseni jedna sitovka a switch. Kdyz uvazim, ze sitovka vyjde na cca 1k a nejlevnejsi switch sezenu za cca 5k, tak cennove ta reseni vyjdou podobne.

Sitovka a switch ma vyhodu v uvolneni pozic v routeru a zaroven poskytuje vetsi flexibilitu, ale na druhou stranu vyzaduje lehce slozitejsi konfiguraci.

[Paolo]

Ono se to může zdát, že switch je nejjednoduší řešení, ale dávejte si na to pozor. Žádný ISP vám toto řešení nikdy nedoporučí, protože si mezi sebou navzájem pronajímají trasy a tak se lehce může stát, že po propojení do switche nejen, že nepojede internet vám, ale i řadě dalších a nejspíše vás ISP natvrdo odstřihne za neoprávněný zásah do infrastruktury (což si pak určitě i zaplatíte).
Mám tuto zkušenost prakticky ověřenou (že jsou s tím problémy).

Čili nezbývá než použít více síťových karet v routeru nebo víceportový router (například zmiňovaný Mikrotik je imho velmi luxusní řešení za málo peněz).

Ad load balancing - to je těžké zařídit, protože můžeš jen ovlivňovat odchozí směr a z toho vesměs nepoznáš, jak brutální bude incoming směr. Load balancing lze provést pouze ve spolupráci s ISP, od kterého máš např. 4 ADSL linky (ale to ti v ČR stejně nikdo neudělá - zkoušel jsem to u tří velkých poskytovatelů).
Já toto řeším u jednoho zákazníka, kde mají pomalejší ale vyhrazenou linku a pak druhou rychlou (ale sdílenou s pomalým uploadem), že služby http,https a další jedou přes rychlou a ty "důležité" jedou pak přes vyhrazenou, která není zbytečně bržděna sosáčema. Při výpadku jednoho nebo druhého se pak přenastaví pravidla routingu (vše pak jede jen tou živou linkou). Po obnovení spojení se nastaví původní (rozdělená) pravidla. Zpoždění od výpadku po přepojení je do 60 sekund (skript spouští cron každou minutu).

Windows XP i Linux by pak meli opet provadet automaticky load ballancing. Teoreticky by toto melo fungovat, wokna dokonce umi detekovat nefungujici branu a pouzivat jen tu funkcni, linux by to take mohl umet.

Nevím, jakou s tím máš ty zkušenost, ale já s tím mám zkušenost špatnou - Windows XP se tvrdošíjně snaží data posílat stále jednou gatewayí, ikdyž je mimo provoz (čekal jsem 5 minut). V routingu mají obě stejnou prioritu.

[Petrik]

Ono se to může zdát, že switch je nejjednoduší řešení, ale dávejte si na to pozor. Žádný ISP vám toto řešení nikdy nedoporučí, protože si mezi sebou navzájem pronajímají trasy a tak se lehce může stát, že po propojení do switche nejen, že nepojede internet vám, ale i řadě dalších a nejspíše vás ISP natvrdo odstřihne za neoprávněný zásah do infrastruktury (což si pak určitě i zaplatíte).
Mám tuto zkušenost prakticky ověřenou (že jsou s tím problémy).

Čili nezbývá než použít více síťových karet v routeru nebo víceportový router (například zmiňovaný Mikrotik je imho velmi luxusní řešení za málo peněz).

Souhlasim, navic moje zkusenost je takova, ze ty ADSL modemy, co umi i NAT, jde pro vetsi site/zatez rozumne pouzivat jen jako bridge, protoze jinak tuhnou ci zahazuji spojeni co se jim nevesly do pameti. A pokud se nepletu, PPP pro nahozeni netu nejde provozovat pres switch (nemuze tam byt vice modemu, zato klientu ano), resp. napr. v mikrotiku jde nastavit jen iface na kterem to ma pustit a fidli.

Ad load balancing - to je těžké zařídit, protože můžeš jen ovlivňovat odchozí směr a z toho vesměs nepoznáš, jak brutální bude incoming směr. Load balancing lze provést pouze ve spolupráci s ISP, od kterého máš např. 4 ADSL linky (ale to ti v ČR stejně nikdo neudělá - zkoušel jsem to u tří velkých poskytovatelů).
Já toto řeším u jednoho zákazníka, kde mají pomalejší ale vyhrazenou linku a pak druhou rychlou (ale sdílenou s pomalým uploadem), že služby http,https a další jedou přes rychlou a ty "důležité" jedou pak přes vyhrazenou, která není zbytečně bržděna sosáčema. Při výpadku jednoho nebo druhého se pak přenastaví pravidla routingu (vše pak jede jen tou živou linkou). Po obnovení spojení se nastaví původní (rozdělená) pravidla. Zpoždění od výpadku po přepojení je do 60 sekund (skript spouští cron každou minutu).

Nevím, jakou s tím máš ty zkušenost, ale já s tím mám zkušenost špatnou - Windows XP se tvrdošíjně snaží data posílat stále jednou gatewayí, ikdyž je mimo provoz (čekal jsem 5 minut). V routingu mají obě stejnou prioritu.

V mem pripade by fakt, ze mohu ovlivnovat jen odhozi spojeni, vadit nemel, protoze tech spojeni bude tolik (radove tisice), ze se to statisticky vyvazi, za predpokladu ze router skutecne dela round-robin se stejnym pomerem, coz by mikrotik mel. Vetsi problem bude obavam se s temi woknama, bojim se presne toho, co pises, protoze vim jaky shunt je TCP/IP ve widlich. V linuxu by to nemel byt zadny problem. V pondeli to testnu a podam hlaseni. Jenom nevim, co udelam, kdyz to fungovat nebude

Mimochodem, UPC blokuje porty u domacich tarifu pokud na nich nameri hodne spojeni / packetu, takze je bohuzel i jen jako zaloha pro vetsi site nepouzitelna, jedine reseni je tunel nekam do netu.

UPDATE: ted jsem objevil ze v mikrotiku je nova feature PCC, ktera napr. umoznuje provadet load ballancing per source IP, takze jednotliva PC budou mit stale jednu a tutez verejnou IP adresu. Ted jen zbyva doresit jak zabranit vypadku v pripade umrti jednoho routeru. Slo by na to pouzit VRRP, ale pak zase nastava problem s PPPoE.

[Paolo]

Pokud to se dvěma GW nepojede, tak místo dvou 5port mikrotiků kup jeden 9port (RB493) a napoj to všechno do jednoho.
Je to držák, tak bych se výpadků moc nebál, ale jestli potřebuješ "100%" zálohu, tak stačí koupit dva a po nastavení jednoho jen konfiguraci přehrát do druhého.

[Petrik]

To me taky napadlo, ale preci jenom to bude muset nekdo prepojit. dalsi reseni, co me ted napadlo, je pouzit 4 mikrotiky:
2 pro DSL modemy (kazdy 3x DSL) a dalsi dva ve VRRP HA clusteru, kter by slouzil jako hlavni GW pro vsechny PC v siti. Propojeny by byli kazdy s kazdym, takze by tam nemel byt zadny sigle point of failure. Ale to mi zase pripada priliz slozite, pri pouziti RB450G by to ale zas tak moc nestalo. Anebo nejak udelat VRRP HA cluster jen z tech dvou, do kterych jsou napojene DSL modemy, ale to vazne netusim, zda to jde. Pokud by to slo, tak je to zjevne nejlepsi reseni.

UPDATE: tak podle co jsem si o VRRP (Virtual Router Redundancy Protocol) precetl, tak by to skutecne melo jit takto udelat, totiz mit dva mikrotiky, do kazdeho pripojeno nekolik DSL linek a sitovky na vnitrni siti provozovat v High Availability rezimu. PC ve vnistrni siti budou mit jako default GW adresu vritualniho routeru. Routery musi byt jeste propojene vzajemne pro routovani mezi nimi. V normalnim rezimu bude master router prijimat packety od klientu a rozdelovat je rovnomerne mezi sve DSL GW a mezi druhy router na dedikovane sitovce. To se zaridi tak, ze ze se IP adresa druheho routeru prida jako default GW tolikrat, kolik ma druhy router DSL pripojeni. Mozna i pujde pouzit zmineny PCC. V pripade vypadku jednoho z routeru se pomoci funkce "check gateway" automaticky nefuncni router vyradi z routovacich tabulek a zaroven slave router prevezme IP adresu od vypadleho mastera. Myslim ze by to teoreticky skutecne mohlo fungovat, ale jesli se mi to podari nakonfigurovat, tak si mohu gratulovat.

[Fox!MURDER]

ja bych rozhodne loadbalance neresil na klientech, ale na routeru. rozhodne to bude ovladatelnejsi, nez spolehat na XP. pokud bys mel mezi modemama a routerama switch s vlanama, tak muzes na VRRP navazat shozeni/nahozeni PPPoE a pokud mas na tom PPPoE pevny ip, tak replikaci stavu mezi routerama.
pak bys ciste teoreticky mohl dosahnout toho, ze pokud aktivni router spadne, nahradi ho backup, ktery vytoci ty PPPoE a veskerej provoz pokracuje s minimalnim vypadkem a v pripade TCP i bez preruseni.
ale jestli tohle jde udelat na mikrotiku, nemam tuseni. umim si to predstavit na *BSD s pf ...

[Petrik]

Diky za tip, co jsem ale cetl tak VLANy s VRRP uplne nejlip nechodi (pokud chapu dobre jak jsi to myslel), navic ten switch by byl single point of failure, coz bych mit nechtel. Ale mozna by sly pouzit dva switche, to si ted ale uplne moc predstavit nedokazu. Pevny IP asi nebudou, ikdyz otazka je zda to s dynamickyma pujde vubec provozovat, musim si to jeste cele poradne rozmyslet. Dalsi zadrhel je, ze jedno ADSL ma vyssi upload a pres nej se musi routovat jeden DB server na vnitrni siti, cimz se to cele jeste vice komplikuje, ale v principu by to melo jit udelat.

[Fox!MURDER]

jo, vidis, ze je switch SPOF jsem ponekud nedomyslel ale se dvema a etherchannelem by to taky slo .
na strane s DSL by zadny VRRP nebylo ...

[Jezevec]

2Petrik: Jen tak pro info, ty mas v ramci infrastruktury zapojeny vsechny ty stroje kazdej do 2switchu ? Pokud ne, tak resit nejaky brutalni metody jak zabranit vypadku routeru je trochu zbytecny.

Jinak vypadek by se mohl resit pomoci RIP. To by mely umet i XP a muzes jim tim aktivne sdelit zmenu routy. Pocitam ze pro mikrotika by to nemel bejt zavaznejsi problem. Pro tucnaky je samo lepsi reseni pouzit OSPF, pri rozumnym nastaveni reaguje bleskurychle.

Problem ovsem budes mit s verejnyma IP adresama. Zalezi teda jak moc potrebujes udrzet aktivni TCP konexe a taky na protokolech, ale sekundarni router rozhodne nebude vedet nic o NATovaci tabulce => muze se stat, ze prideli jinou verejnou IP a konexe se rozpadne (v kazdym pripade pokud bude kazdy router obsluhovat jen cast IP adres).

Obecne resit jakykoli zabezpeceni proti vypadku bez vlastniho rozsahu/spoluprace s ISP je vicemene hazeni penez do kanalu. Stejne dycky narazis na situaci, ktera nebude resitelna.

[Fox!MURDER]

Problem ovsem budes mit s verejnyma IP adresama. Zalezi teda jak moc potrebujes udrzet aktivni TCP konexe a taky na protokolech, ale sekundarni router rozhodne nebude vedet nic o NATovaci tabulce => muze se stat, ze prideli jinou verejnou IP a konexe se rozpadne (v kazdym pripade pokud bude kazdy router obsluhovat jen cast IP adres).

tohle prave resi pfsync(4) ... proto jsem tu zminoval pf na *BSD (vubec by ho nekdo mohl portnout pro linux)