摘要：常用的負(fù)載均衡開源軟件有，商業(yè)的硬件負(fù)載均衡設(shè)備。使用可以達(dá)到的技術(shù)目標(biāo)是通過達(dá)到的負(fù)載均衡技術(shù)和操作系統(tǒng)實(shí)現(xiàn)一個(gè)高性能高可用的服務(wù)器集群，它具有良好的可靠性可擴(kuò)展性和可操作性。指的是前端負(fù)載均衡器節(jié)點(diǎn)。。

博文參考

http://www.jianshu.com/p/8a61de3f8be9
http://itnihao.blog.51cto.com/1741976/752472

負(fù)載均衡集群是 load balance 集群的簡寫，翻譯成中文就是負(fù)載均衡集群。常用的負(fù)載均衡開源軟件有nginx、lvs、haproxy，商業(yè)的硬件負(fù)載均衡設(shè)備F5、Netscale。這里主要是學(xué)習(xí) LVS 并對(duì)其進(jìn)行了詳細(xì)的總結(jié)記錄。

LB集群的架構(gòu)和原理很簡單，就是當(dāng)用戶的請(qǐng)求過來時(shí)，會(huì)直接分發(fā)到Director Server上，然后它把用戶的請(qǐng)求根據(jù)設(shè)置好的調(diào)度算法，智能均衡地分發(fā)到后端真正服務(wù)器(real server)上。為了避免不同機(jī)器上用戶請(qǐng)求得到的數(shù)據(jù)不一樣，需要用到了共享存儲(chǔ)，這樣保證所有用戶請(qǐng)求的數(shù)據(jù)是一樣的。

LVS是 Linux Virtual Server 的簡稱，也就是Linux虛擬服務(wù)器。這是一個(gè)由章文嵩博士發(fā)起的一個(gè)開源項(xiàng)目，它的現(xiàn)在 LVS 已經(jīng)是 Linux 內(nèi)核標(biāo)準(zhǔn)的一部分。使用 LVS 可以達(dá)到的技術(shù)目標(biāo)是：通過 LVS 達(dá)到的負(fù)載均衡技術(shù)和 Linux 操作系統(tǒng)實(shí)現(xiàn)一個(gè)高性能高可用的 Linux 服務(wù)器集群，它具有良好的可靠性、可擴(kuò)展性和可操作性。從而以低廉的成本實(shí)現(xiàn)最優(yōu)的性能。LVS 是一個(gè)實(shí)現(xiàn)負(fù)載均衡集群的開源軟件項(xiàng)目，LVS架構(gòu)從邏輯上可分為調(diào)度層、Server集群層和共享存儲(chǔ)。

官方網(wǎng)是 http://www.linuxvirtualserver...

當(dāng)用戶向負(fù)載均衡調(diào)度器（Director Server）發(fā)起請(qǐng)求，調(diào)度器將請(qǐng)求發(fā)往至內(nèi)核空間

PREROUTING鏈?zhǔn)紫葧?huì)接收到用戶請(qǐng)求，判斷目標(biāo)IP確定是本機(jī)IP，將數(shù)據(jù)包發(fā)往INPUT鏈

IPVS是工作在INPUT鏈上的，當(dāng)用戶請(qǐng)求到達(dá)INPUT時(shí)，IPVS會(huì)將用戶請(qǐng)求和自己已定義好的集群服務(wù)進(jìn)行比對(duì)，如果用戶請(qǐng)求的就是定義的集群服務(wù)，那么此時(shí)IPVS會(huì)強(qiáng)行修改數(shù)據(jù)包里的目標(biāo)IP地址及端口，并將新的數(shù)據(jù)包發(fā)往POSTROUTING鏈

POSTROUTING鏈接收數(shù)據(jù)包后發(fā)現(xiàn)目標(biāo)IP地址剛好是自己的后端服務(wù)器，那么此時(shí)通過選路，將數(shù)據(jù)包最終發(fā)送給后端的服務(wù)器

LVS 由2部分程序組成，包括 ipvs 和 ipvsadm。

ipvs(ip virtual server)：一段代碼工作在內(nèi)核空間，叫ipvs，是真正生效實(shí)現(xiàn)調(diào)度的代碼。

ipvsadm：另外一段是工作在用戶空間，叫ipvsadm，負(fù)責(zé)為ipvs內(nèi)核框架編寫規(guī)則，定義誰是集群服務(wù)，而誰是后端真實(shí)的服務(wù)器(Real Server)

DS：Director Server。指的是前端負(fù)載均衡器節(jié)點(diǎn)。

RS：Real Server。后端真實(shí)的工作服務(wù)器。

VIP：向外部直接面向用戶請(qǐng)求，作為用戶請(qǐng)求的目標(biāo)的IP地址。

DIP：Director Server IP，主要用于和內(nèi)部主機(jī)通訊的IP地址。

RIP：Real Server IP，后端服務(wù)器的IP地址。

6 CIP：Client IP，訪問客戶端的IP地址。

下邊是三種工作模式的原理和特點(diǎn)總結(jié)。

(a). 當(dāng)用戶請(qǐng)求到達(dá)Director Server，此時(shí)請(qǐng)求的數(shù)據(jù)報(bào)文會(huì)先到內(nèi)核空間的PREROUTING鏈。 此時(shí)報(bào)文的源IP為CIP，目標(biāo)IP為VIP

(b). PREROUTING檢查發(fā)現(xiàn)數(shù)據(jù)包的目標(biāo)IP是本機(jī)，將數(shù)據(jù)包送至INPUT鏈

(c). IPVS比對(duì)數(shù)據(jù)包請(qǐng)求的服務(wù)是否為集群服務(wù)，若是，修改數(shù)據(jù)包的目標(biāo)IP地址為后端服務(wù)器IP，然后將數(shù)據(jù)包發(fā)至POSTROUTING鏈。 此時(shí)報(bào)文的源IP為CIP，目標(biāo)IP為RIP

(d). POSTROUTING鏈通過選路，將數(shù)據(jù)包發(fā)送給Real Server

(e). Real Server比對(duì)發(fā)現(xiàn)目標(biāo)為自己的IP，開始構(gòu)建響應(yīng)報(bào)文發(fā)回給Director Server。 此時(shí)報(bào)文的源IP為RIP，目標(biāo)IP為CIP

(f). Director Server在響應(yīng)客戶端前，此時(shí)會(huì)將源IP地址修改為自己的VIP地址，然后響應(yīng)給客戶端。 此時(shí)報(bào)文的源IP為VIP，目標(biāo)IP為CIP

RS應(yīng)該使用私有地址，RS的網(wǎng)關(guān)必須指向DIP

DIP和RIP必須在同一個(gè)網(wǎng)段內(nèi)

請(qǐng)求和響應(yīng)報(bào)文都需要經(jīng)過Director Server，高負(fù)載場(chǎng)景中，Director Server易成為性能瓶頸

支持端口映射

RS可以使用任意操作系統(tǒng)

缺陷：對(duì)Director Server壓力會(huì)比較大，請(qǐng)求和響應(yīng)都需經(jīng)過director server

(a) 當(dāng)用戶請(qǐng)求到達(dá)Director Server，此時(shí)請(qǐng)求的數(shù)據(jù)報(bào)文會(huì)先到內(nèi)核空間的PREROUTING鏈。 此時(shí)報(bào)文的源IP為CIP，目標(biāo)IP為VIP

(b) PREROUTING檢查發(fā)現(xiàn)數(shù)據(jù)包的目標(biāo)IP是本機(jī)，將數(shù)據(jù)包送至INPUT鏈

(c) IPVS比對(duì)數(shù)據(jù)包請(qǐng)求的服務(wù)是否為集群服務(wù)，若是，將請(qǐng)求報(bào)文中的源MAC地址修改為DIP的MAC地址，將目標(biāo)MAC地址修改RIP的MAC地址，然后將數(shù)據(jù)包發(fā)至POSTROUTING鏈。 此時(shí)的源IP和目的IP均未修改，僅修改了源MAC地址為DIP的MAC地址，目標(biāo)MAC地址為RIP的MAC地址

(d) 由于DS和RS在同一個(gè)網(wǎng)絡(luò)中，所以是通過二層來傳輸。POSTROUTING鏈檢查目標(biāo)MAC地址為RIP的MAC地址，那么此時(shí)數(shù)據(jù)包將會(huì)發(fā)至Real Server。

(e) RS發(fā)現(xiàn)請(qǐng)求報(bào)文的MAC地址是自己的MAC地址，就接收此報(bào)文。處理完成之后，將響應(yīng)報(bào)文通過lo接口傳送給eth0網(wǎng)卡然后向外發(fā)出。 此時(shí)的源IP地址為VIP，目標(biāo)IP為CIP

(f) 響應(yīng)報(bào)文最終送達(dá)至客戶端

保證前端路由將目標(biāo)地址為VIP報(bào)文統(tǒng)統(tǒng)發(fā)給Director Server，而不是RS

RS可以使用私有地址；也可以是公網(wǎng)地址，如果使用公網(wǎng)地址，此時(shí)可以通過互聯(lián)網(wǎng)對(duì)RIP進(jìn)行直接訪問

RS跟Director Server必須在同一個(gè)物理網(wǎng)絡(luò)中

所有的請(qǐng)求報(bào)文經(jīng)由Director Server，但響應(yīng)報(bào)文必須不能進(jìn)過Director Server

不支持地址轉(zhuǎn)換，也不支持端口映射

RS可以是大多數(shù)常見的操作系統(tǒng)

RS的網(wǎng)關(guān)絕不允許指向DIP(因?yàn)槲覀儾辉试S他經(jīng)過director)

RS上的lo接口配置VIP的IP地址

缺陷：RS和DS必須在同一機(jī)房中

在前端路由器做靜態(tài)地址路由綁定，將對(duì)于VIP的地址僅路由到Director Server

存在問題：用戶未必有路由操作權(quán)限，因?yàn)橛锌赡苁沁\(yùn)營商提供的，所以這個(gè)方法未必實(shí)用

arptables：在arp的層次上實(shí)現(xiàn)在ARP解析時(shí)做防火墻規(guī)則，過濾RS響應(yīng)ARP請(qǐng)求。這是由iptables提供的

修改RS上內(nèi)核參數(shù)（arp_ignore和arp_announce）將RS上的VIP配置在lo接口的別名上，并限制其不能響應(yīng)對(duì)VIP地址解析請(qǐng)求。

在原有的IP報(bào)文外再次封裝多一層IP首部，內(nèi)部IP首部(源地址為CIP，目標(biāo)IIP為VIP)，外層IP首部(源地址為DIP，目標(biāo)IP為RIP)

(a) 當(dāng)用戶請(qǐng)求到達(dá)Director Server，此時(shí)請(qǐng)求的數(shù)據(jù)報(bào)文會(huì)先到內(nèi)核空間的PREROUTING鏈。 此時(shí)報(bào)文的源IP為CIP，目標(biāo)IP為VIP 。

(b) PREROUTING檢查發(fā)現(xiàn)數(shù)據(jù)包的目標(biāo)IP是本機(jī)，將數(shù)據(jù)包送至INPUT鏈

(c) IPVS比對(duì)數(shù)據(jù)包請(qǐng)求的服務(wù)是否為集群服務(wù)，若是，在請(qǐng)求報(bào)文的首部再次封裝一層IP報(bào)文，封裝源IP為為DIP，目標(biāo)IP為RIP。然后發(fā)至POSTROUTING鏈。 此時(shí)源IP為DIP，目標(biāo)IP為RIP

(d) POSTROUTING鏈根據(jù)最新封裝的IP報(bào)文，將數(shù)據(jù)包發(fā)至RS（因?yàn)樵谕鈱臃庋b多了一層IP首部，所以可以理解為此時(shí)通過隧道傳輸）。 此時(shí)源IP為DIP，目標(biāo)IP為RIP

(e) RS接收到報(bào)文后發(fā)現(xiàn)是自己的IP地址，就將報(bào)文接收下來，拆除掉最外層的IP后，會(huì)發(fā)現(xiàn)里面還有一層IP首部，而且目標(biāo)是自己的lo接口VIP，那么此時(shí)RS開始處理此請(qǐng)求，處理完成之后，通過lo接口送給eth0網(wǎng)卡，然后向外傳遞。 此時(shí)的源IP地址為VIP，目標(biāo)IP為CIP

(f) 響應(yīng)報(bào)文最終送達(dá)至客戶端

RIP、VIP、DIP全是公網(wǎng)地址

RS的網(wǎng)關(guān)不會(huì)也不可能指向DIP

所有的請(qǐng)求報(bào)文經(jīng)由Director Server，但響應(yīng)報(bào)文必須不能進(jìn)過Director Server

不支持端口映射

RS的系統(tǒng)必須支持隧道

其實(shí)企業(yè)中最常用的是 DR 實(shí)現(xiàn)方式，而 NAT 配置上比較簡單和方便，后邊實(shí)踐中會(huì)總結(jié) DR 和 NAT 具體使用配置過程。

這種算法是最簡單的，就是按依次循環(huán)的方式將請(qǐng)求調(diào)度到不同的服務(wù)器上，該算法最大的特點(diǎn)就是簡單。輪詢算法假設(shè)所有的服務(wù)器處理請(qǐng)求的能力都是一樣的，調(diào)度器會(huì)將所有的請(qǐng)求平均分配給每個(gè)真實(shí)服務(wù)器，不管后端 RS 配置和處理能力，非常均衡地分發(fā)下去。

這種算法比 rr 的算法多了一個(gè)權(quán)重的概念，可以給 RS 設(shè)置權(quán)重，權(quán)重越高，那么分發(fā)的請(qǐng)求數(shù)越多，權(quán)重的取值范圍 0 – 100。主要是對(duì)rr算法的一種優(yōu)化和補(bǔ)充， LVS 會(huì)考慮每臺(tái)服務(wù)器的性能，并給每臺(tái)服務(wù)器添加要給權(quán)值，如果服務(wù)器A的權(quán)值為1，服務(wù)器B的權(quán)值為2，則調(diào)度到服務(wù)器B的請(qǐng)求會(huì)是服務(wù)器A的2倍。權(quán)值越高的服務(wù)器，處理的請(qǐng)求越多。

這個(gè)算法會(huì)根據(jù)后端 RS 的連接數(shù)來決定把請(qǐng)求分發(fā)給誰，比如 RS1 連接數(shù)比 RS2 連接數(shù)少，那么請(qǐng)求就優(yōu)先發(fā)給 RS1

這個(gè)算法比 lc 多了一個(gè)權(quán)重的概念。

這個(gè)算法是請(qǐng)求數(shù)據(jù)包的目標(biāo) IP 地址的一種調(diào)度算法，該算法先根據(jù)請(qǐng)求的目標(biāo) IP 地址尋找最近的該目標(biāo) IP 地址所有使用的服務(wù)器，如果這臺(tái)服務(wù)器依然可用，并且有能力處理該請(qǐng)求，調(diào)度器會(huì)盡量選擇相同的服務(wù)器，否則會(huì)繼續(xù)選擇其它可行的服務(wù)器

記錄的不是要給目標(biāo) IP 與一臺(tái)服務(wù)器之間的連接記錄，它會(huì)維護(hù)一個(gè)目標(biāo) IP 到一組服務(wù)器之間的映射關(guān)系，防止單點(diǎn)服務(wù)器負(fù)載過高。

該算法是根據(jù)目標(biāo) IP 地址通過散列函數(shù)將目標(biāo) IP 與服務(wù)器建立映射關(guān)系，出現(xiàn)服務(wù)器不可用或負(fù)載過高的情況下，發(fā)往該目標(biāo) IP 的請(qǐng)求會(huì)固定發(fā)給該服務(wù)器。

與目標(biāo)地址散列調(diào)度算法類似，但它是根據(jù)源地址散列算法進(jìn)行靜態(tài)分配固定的服務(wù)器資源。

三臺(tái)服務(wù)器，一臺(tái)作為 director，兩臺(tái)作為 real server，director 有一個(gè)外網(wǎng)網(wǎng)卡(172.16.254.200) 和一個(gè)內(nèi)網(wǎng)ip(192.168.0.8)，兩個(gè) real server 上只有內(nèi)網(wǎng) ip (192.168.0.18) 和 (192.168.0.28)，并且需要把兩個(gè) real server 的內(nèi)網(wǎng)網(wǎng)關(guān)設(shè)置為 director 的內(nèi)網(wǎng) ip(192.168.0.8)

兩個(gè) real server 上都安裝 nginx 服務(wù)

# yum install -y nginx

 

Director 上安裝 ipvsadm

# yum install -y ipvsadm

Director 上編輯 nat 實(shí)現(xiàn)腳本

# vim /usr/local/sbin/lvs_nat.sh

# 編輯寫入如下內(nèi)容：

#! /bin/bash

# director服務(wù)器上開啟路由轉(zhuǎn)發(fā)功能:

echo 1 > /proc/sys/net/ipv4/ip_forward

 #關(guān)閉 icmp 的重定向

echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/eth0/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/eth1/send_redirects

#director設(shè)置 nat 防火墻

iptables -t nat -F

iptables -t nat -X

iptables -t nat -A POSTROUTING -s 192.168.0.0/24 -j MASQUERADE

# director設(shè)置 ipvsadm

IPVSADM="/sbin/ipvsadm"

$IPVSADM -C

$IPVSADM -A -t 172.16.254.200:80 -s wrr

$IPVSADM -a -t 172.16.254.200:80 -r 192.168.0.18:80 -m -w 1

$IPVSADM -a -t 172.16.254.200:80 -r 192.168.0.28:80 -m -w 1

保存后，在 Director 上直接運(yùn)行這個(gè)腳本就可以完成 lvs/nat 的配置

/bin/bash /usr/local/sbin/lvs_nat.sh

查看ipvsadm設(shè)置的規(guī)則

ipvsadm -ln

通過瀏覽器測(cè)試2臺(tái)機(jī)器上的web內(nèi)容 http://172.16.254.200 。為了區(qū)分開，我們可以把 nginx 的默認(rèn)頁修改一下：

在 RS1 上執(zhí)行

# echo "rs1rs1" >/usr/share/nginx/html/index.html

 

在 RS2 上執(zhí)行

# echo "rs2rs2" >/usr/share/nginx/html/index.html

注意，切記一定要在兩臺(tái) RS 上設(shè)置網(wǎng)關(guān)的 IP 為 director 的內(nèi)網(wǎng) IP。

三臺(tái)機(jī)器：

Director節(jié)點(diǎn)：  (eth0 192.168.0.8  vip eth0:0 192.168.0.38)

Real server1： (eth0 192.168.0.18 vip lo:0 192.168.0.38)

Real server2： (eth0 192.168.0.28 vip lo:0 192.168.0.38)

兩個(gè) real server 上都安裝 nginx 服務(wù)

# yum install -y nginx

 

Director 上安裝 ipvsadm

# yum install -y ipvsadm

# vim /usr/local/sbin/lvs_dr.sh

#! /bin/bash

echo 1 > /proc/sys/net/ipv4/ip_forward

ipv=/sbin/ipvsadm

vip=192.168.0.38

rs1=192.168.0.18

rs2=192.168.0.28

ifconfig eth0:0 down

ifconfig eth0:0 $vip broadcast $vip netmask 255.255.255.255 up

route add -host $vip dev eth0:0

$ipv -C

$ipv -A -t $vip:80 -s wrr

$ipv -a -t $vip:80 -r $rs1:80 -g -w 3

$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

執(zhí)行腳本：

# bash /usr/local/sbin/lvs_dr.sh

# vim /usr/local/sbin/lvs_dr_rs.sh

#! /bin/bash

vip=192.168.0.38

ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up

route add -host $vip lo:0

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

rs 上分別執(zhí)行腳本：

bash /usr/local/sbin/lvs_dr_rs.sh

測(cè)試方式同上，瀏覽器訪問 http://192.168.0.38

注意：在 DR 模式下，2臺(tái) rs 節(jié)點(diǎn)的 gateway 不需要設(shè)置成 dir 節(jié)點(diǎn)的 IP 。