Šta je load balancing i kako funkcionira

Šta je load balancing

Load balancing je tehnika distribucije mrežnog prometa. Ovo je posebno relevantno za korisnike namenskih servera. Ovo je posebno relevantno za korisnike dedikovanog servera između više servera kako bi se osigurila visoka dostupnost, pouzdanost i optimalne performanse aplikacija. Zamislite load balancer kao prometnog policajca koji stoji ispred grupe servera i usmerava svaki dolazni zahtjev ka serveru koji je trenutno najmanje opterećen. Bez load balancera, jedan server mora obraditi sav promet i kada dostigne svoj kapacitet, sajt postaje spor ili potpuno nedostupan. Sa load balancerom, opterećenje se ravnomerno raspoređuje i ako jedan server otkaže, ostali preuzimaju njegov posao bez prekida za korisnike.

Load balancing je osnova moderne web infrastrukture. Svaka velika web platforma - Google, Facebook, Amazon, Netflix - koristi sofisticirane sisteme za balansiranje opterećenja. Ali load balancing nije rezervisan samo za gigante - svaki sajt sa rastućim saobraćajem ili zahtjevom za visokom dostupnošću može imati koristi od ove tehnologije. Sa razvojem cloud hostinga, load balancing je postao dostupan i malim i srednjim preduzećima po razumnim cijenama.

Tipovi load balancera

Layer 4 load balancing

Layer 4 (L4) load balancer radi na transportnom sloju OSI modela i donosi odluke o rutiranju na osnovu IP adresa i portova, bez uvida u sadržaj prometa. Kada zahtjev stigne, L4 balancer preusmerava cijelu TCP ili UDP konekciju ka odabranom backend serveru. Prednosti L4 balancera su iznimna brzina jer ne analizira sadržaj paketa, niži zahtjevi za resursima i mogućnost balansiranja bilo kog tipa prometa - ne samo HTTP. Koristi se za scenarije gdje je čista distribucija prometa dovoljna bez potrebe za inteligentnim rutiranjem na osnovu URL-a ili header-a.

Layer 7 load balancing

Layer 7 (L7) load balancer radi na aplikativnom sloju i razumije HTTP protokol. Ovo mu omogućava inteligentno rutiranje na osnovu URL-a, HTTP header-a, kolačića, tipa sadržaja i drugih atributa zahtijeva. Na primjer, L7 balancer može usmeriti zahtjeve za slike ka serverima optimiziranim za statički sadržaj, API zahtjeve ka aplikativnim serverima, a websocket konekcije ka serverima konfiguriranim za dugotrajne konekcije. L7 balanceri također mogu vršiti SSL terminaciju (dekriptirati HTTPS na balanceru), kompresiju sadržaja i keširanje. Većina modernih web aplikacija koristi L7 load balancing.

Global server load balancing

GSLB (Global Server Load Balancing) distribuira promet između servera u različitim geografskim lokacijama. Koristi DNS za usmeravanje korisnika ka najbližem data centru baziranom na geografskoj lokaciji, latenciji ili zdravlju servera. Na primjer, korisnici iz Bosne i Hercegovine se usmeravaju ka evropskom data centru, dok korisnici iz SAD-a idu na američki. GSLB je ključan za globalne aplikacije koje zahtijevaju niške latencije širom svijeta i osigurava disaster recovery - ako cijeli data centar poštane nedostupan, promet se automatski preusmerava na drugi.

Algoritmi za distribuciju prometa

Round Robin

Round Robin je najjednostavniji algoritam koji distribuira zahtjeve sekvencijalno po redu između dostupnih servera. Prvi zahtjev ide na server 1, drugi na server 2, treći na server 3, pa ponovo na server 1 i tako dalje. Prednost je apsolutna jednostavnost implementacije i predvidivost distribucije. Mana je što ne uzima u obzir trenutno opterećenje servera - server koji obrađuje tešku operaciju dobija isti broj novih zahtijeva kao server koji je neopterećen. Weighted Round Robin varijanta dodjeljuje različite težine serverima proporcionalno njihovim kapacitetima, tako da snažniji serveri dobijaju više zahtijeva.

Least Connections

Least Connections algoritam usmerava svaki novi zahtjev ka serveru koji trenutno ima najmanje aktivnih konekcija. Ovo je inteligentnije od Round Robin-a jer uzima u obzir stvarno opterećenje. Ako jedan server obrađuje dugotrajne zahtjeve dok drugi brzo završava kratke zahtjeve, Least Connections će više zahtijeva usmeriti ka bržem serveru. Weighted Least Connections kombinira ovaj pristup sa težinskim koeficijentima za servere različitog kapaciteta. Ovaj algoritam je idealan za aplikacije sa zahtjevima koji variraju u trajanju.

IP Hash

IP Hash algoritam izračunava hash vrijednost klijentove IP adrese i koristi je za određivanje servera. Ovo jamče da zahtjevi od istog klijenta uvek idu na isti server, što je važno za aplikacije koje čuvaju sesiju na serveru (session persistence). Bez IP Hash-a ili sličnog mehanizma, korisnik može biti prebačen na drugi server koji nema njegovu sesiju, što rezultira gubitkom korpe za kupovinu ili ponovnim traženjem prijave. Moderna alternativa je korištenje centraliziranog session storage-a sa Redis-om, čime se eliminira potreba za session persistence na nivou load balancera.

Least Response Time

Ovaj algoritam kombinira najmanje konekcija sa najkraćim vremenom odgovora. Zahtjev se usmerava ka serveru koji ima najmanje aktivnih konekcija i najbrže prosječno vrijeme odgovora. Ovo je najinteligentniji pristup jer uzima u obzir i opterećenje i performanse svakog servera. Ako jedan server ima brže diskove ili više RAM-a, on će prirodno imati kraće vrijeme odgovora i dobijati proporcionalno više zahtijeva. Zahteva monitoring odgovora od svakog servera što dodaje mali overhead ali daje optimalne rezultate.

Hardverski vs softverski load balanceri

Hardverski load balanceri

Hardverski load balanceri su specijalizirani uređaji dizajnirani isključivo za distribuciju prometa. Proizvođači poput F5 Networks (BIG-IP), Citrix (NetScaler) i A10 Networks nude uređaje koji mogu obraditi milijune konekcija u sekundi sa iznimno niškom latencijom. Prednosti su predvidive performanse, namenski hardver i napredne funkcionalnosti poput SSL offloading-a, DDoS zaštite i aplikativnog firewall-a. Mana je visoka cijena - hardverski load balanceri koštaju od nekoliko hiljada do stotina hiljada dolara, plus troškovi održavanja i licenciranja.

Softverski load balanceri

Softverski load balanceri se instaliraju na standardne servere i nude fleksibilnost, niže troškove i lakoću skaliranja. Najpopularniji open-source rješenja su Nginx koji je ujedno i web server i load balancer sa odličnim performansama, HAProxy koji je specijaliziran za load balancing sa izuzetnom pouzdanošću i niškom latencijom, i Traefik koji je moderan load balancer dizajniran za kontejnerizovane okruženja poput Docker-a i Kubernetes-a. Cloud pružatelji usluge nude managed load balancere kao servis, eliminirajući potrebu za upravljanjem infrastrukturom.

Cloud load balanceri

AWS Elastic Load Balancer, Google Cloud Load Balancing i Azure Load Balancer su managed servisi koji nude load balancing bez upravljanja hardverom ili softverom. Automatski se skaliraju sa vašim saobraćajem, integriraju se sa drugim cloud servisima i plaćaju se po potrošnji. Za većinu modernih aplikacija, cloud load balanceri su optimalan izbor jer eliminiraju operativnu kompleksnost, nude visoku dostupnost sa ugrađenim redundansama i zahtijevaju minimalnu konfiguraciju za početak rada.

Kada vam treba load balancer

Scenariji za korištenje

Load balancer vam je potreban kada jedan server ne može da podnese vaš promet i sajt postaje spor tokom špiceva, kada vam je potrebna visoka dostupnost i ne možete priuštiti downtime, kada imate kritičnu aplikaciju poput e-commerce prodavnice gdje svaki minut nedostupnosti znači izgubljeni prihod, kada želite mogućnost ažuriranja servera bez prekida servisa koristeći rolling deployment, ili kada vaš promet značajno varira i trebate dinamičko skaliranje.

Kada load balancer nije potreban

Za mali sajt sa umerenim saobraćajem, load balancer donosi nepotrebnu kompleksnost i troškove. Ako vaš sajt prima manje od 10.000 posjetitelja dnevno, jedan dobro optimiziran server sa caching-om je sasvim dovoljan. Pre nego što dodate load balancer, optimizirajte postojeći server - implementirajte page caching, optimizirajte bazu podataka, koristite CDN za statičke fajlove i kompresirajte slike. Ove optimizacije često eliminiraju potrebu za load balancerom i značajno su jeftinije.

Health checks i failover

• Active health checks: Load balancer periodično šalje zahtjeve backend serverima da provjeri da li su živi i funkcionalni - obično HTTP GET na specifičan endpoint.
• Passive health checks: Load balancer prati odgovore od servera tokom normalnog prometa i detektira greške bez posebnih zahtijeva.
• Automatski failover: Kada server ne prođe health check, automatski se uklanja iz rotacije i promet se preusmerava na preostale servere.
• Graceful recovery: Kada server ponovo poštane zdrav, postepeno se vraća u rotaciju sa manjim brojem zahtijeva da se izbjegne naglo opterećenje.
• Custom health checks: Pored osnovne HTTP provjere, konfigurirajte provjere specifične za vašu aplikaciju - status baze podataka, dostupnost eksternih API-ja i slobodan disk prostor.

Zaključak

Load balancing je fundamentalna tehnika za izgradnju pouzdanih i skalabilnih web aplikacija. Od jednostavnog Round Robin algoritma do sofisticiranih L7 balansera sa inteligentnim rutiranjem, postoji rješenje za svaki budžet i potrebu. Softverski load balanceri poput Nginx-a i HAProxy-ja demokratizovali su ovu tehnologiju čineći je dostupnom svakome. Na BeoHosting-u nudimo cloud hosting sa mogućnošću load balancing-a za sajtove koji zahtijevaju visoku dostupnost, i naš tim može pomoći u konfiguraciji optimalne infrastrukture za vaše specifične potrebe.