Cluster DNS/Mail

Cluster DNS/Mail

Scop

Acest document descrie arhitectura si modul de implementare a solutiei de cluster pentru serviciile de DNS si Email oferite clientilor GTS Telecom

Solutia initiala

In stadiul initial, toate serviciile erau oferite de catre doua servere:

Main (193.226.128.1) - rol: DNS principal (master), SMTP server, POP3 server, Radius server (main), IPASS Roaming Server (main), Legacy Syslog server

Backup (193.226.128.2/193.226.128.129) - rol: DNS secundar (slave), SMTP server secundar (backup MX), [POP3 server - inactiv, dar avand suport pentru asa ceva)], IPASS Roaming Server (backup), Radius server (backup)

Problemele observate pe solutia initiala au fost generate de procesele existente care deserveau serviciile, procese care consumau resurse shared (memorie, CPU), in functie de incarcarea generate de unul din procese performantele celorlalte procese fiind afectate

Solutia aleasa pentru a elimina aceste probleme generate de incarcarea excesiva a fost migrarea serviciilor oferite pe mai multe masini dedicate. Deoarece majoritatea serviciilor erau mapate pe un singur IP, migrarea lor pe o alta masina cu renumerotare (trecerea la un alt IP) a fost ingreunata de faptul ca modificarea IP-ului pentru anumite servicii este aproape imposibila (serviciul de POP3, in care foarte multi clienti au IP-ul configurat in loc de nume, serviciul de DNS - care necesita modificarea multor domenii).

Pentru a elimina acest impediment, a fost aleasa o solutie de tip cluster.

Solutia aleasa

Pentru balansarea si migrarea serviciilor oferite a fost aleasa o solutie de tip cluster implementata folosind doua echipamente cu rol de load-balancer (in terminologia tipului de cluster folosit se numesc servere directoare - director server).

Echipamentele sint servere Intel , care ruleaza ca sistem de operare CentOS (o distributie free de Linux). Facilitatile din acest OS folosite pentru implementare sint:

LVS - Linux Virtual Server - partea de load-balancing/clustering disponibila in kernelul Linux, utilitarul folosit pentru administrare fiind ipvsadm

LDirectorD - daemon folosit pentru configurarea partii de LVS, permite inclusiv testarea de servicii si modificarea dinamica a tabelei LVS

HeartBeat - daemon folosit pentru implementarea serviciilor de redundanta (IP-uri float pentru servicii si gateway)

Dintre multiplele metode de rutare a serviciilor in cluster a fost aleasa o metoda relative usor de implementat si depanat, NAT. Serverul director ruteaza un serviciu spre un server din cluster folosind NAT, serverele din cluster nefiind accesibile din exteriorul clusterului.

Pentru redundanta, IP-urile serviciilor sint flotante intre cele doua load-balancere.

Toate serverele din cluster au IP-uri private (din clasa 192.168.111.0/24), avand default gateway 192.168.111.1 (IP flotant intre interfetele interne ale serverelor load-balancer)

Modul de access pe serverele din cluster

Pentru a accesa serverele din cluster, serverul director care este master va fi folosit ca jump point.

ssh -l root 85.9.23.82

in cazul in care exista o problema cu partea de Heartbeat, serverele director pot fi accesate independent pe urmatoarele IP-uri de baza:

LBD01 - 85.9.23.74

LBD02 - 85.9.23.78

Serverele pot fi accesate in interiorul clusterului folosind IP-urile private asignate

LBC-NS01 -192.168.111.254 (server de DNS) - ssh port 22

LBC-MAIL - 192.168.111.251 (server de MAIL) - ssh port 24

Rolul serverelor din cluster

LBD01 - load-balancer - master :

IP administrare: 85.9.23.74 (float 85.9.23.82)

IP float (servicii):

193.226.128.1

- smtp, pop3, mysql, ssh(port 24),radius,syslog - servicii directate spre 192.168.111.251

- dns,tcp-dns - servicii directate spre 192.168.111.254

193.226.159.198

- ipass - servicii directate spre 192.168.111.251

192.168.111.1 (eth1)

- floating gw pt. reteaua 192.168.111.0/24

LBD02 - load-balancer - slave - are configuratia identical cu LBD01

IP administrare: 85.9.23.78

LBC-NS01 - server de DNS

IP cluster: 192.168.111.254/24, gw 192.168.111.1, servicii deservite: DNS

Configuratiile de DNS se regasesc in /usr/zlocal/conf/domain

LBC-MAIL - server de SMTP,POP3,MYSQL,RADIUS,SYSLOG,IPASS

IP Cluster: 192.168.111.251/24, gw 192.168.111.1, servicii deservite: SMTP,POP3,MYSQL,RADIUS,SYSLOG,IPASS

Toate configuratiile pentru servicii se regasesc in /usr/zlocal, este fostul server MAIN, orice documentatie legata de MAIN ramine valida, mai putin faptul ca serviciul de DNS nu mai este active, fiind mutat pe 192.168.111.254

Investigatii disponibile pe serverele de load-balancing

Maparile de servicii

o        Maparile de servicii pot fi inspectate folosind comanda: ipvsadm -L -n

Conexiunile active

o        Rutarile active in cluster pot fi inspectate folosind comanda: ipvsadm -L -n -c

Pentru troubleshooting in cazul unor conexiuni care nu ajung la serverele din cluster sau creeaza probleme poate fi folosit utilitarul tcpdump pe interfata externa si interna a serverului director master

Comutarea intre cele doua servere director

Comutarea intre cele doua servere se face manual. Pe serverul care va deveni master se ruleaza comanda:

/usr/share/heartbeat/hb_takeover

Atentie. Aceasta comanda va conduce la comutarea IP-urilor float, si deci la un scurt outage pentru serviciile oferite. Comanda va fi folosita _doar_ in caz de nevoie.

In cazul in care este necesar un upgrade pe un server director, se va efectua pe slave, apoi se va efectua o comutare (in regim de lucrare programata) urmata de o comutare inapoi dupa upgrade pe master.