天天看點

LVS/DR + keepalived搭建負載均衡叢集

前面的lvs雖然已經配置成功也實作了負載均衡,但是我們測試的時候發現,當某台real server把nginx程序停掉,那麼director照樣會把請求轉發過去,這樣就造成了某些請求不正常。是以需要有一種機制用來檢測real server的狀态,這就是keepalived。它的作用除了可以檢測rs狀态外,還可以檢測備用director的狀态,也就是說keepalived可以實作ha叢集的功能,當然了也需要一台備用director。

備用director也需要安裝一下keepalived軟體、ipvsadm;

keepalived調用lvs來實作自己的規則;

yum install -y keepalived ipvsadm

環境搭建工作:

主director    192.168.11.30    eth1網卡

從director    192.168.11.40    eth1網卡

real server1:    192.168.11.100    eth0網卡

real server2:    192.168.11.101    eth0網卡

用來curl測試的linux主機 192.168.11.0 網段即可;

主dr和備用dr都需要安裝keepalived,ipvsadm;

兩台rs安裝nginx;

安裝好後,主director的配置檔案

vim /etc/keepalived/keepalived.conf   //加入如下:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

<code>vrrp_instance VI_1 {</code>

<code>    </code><code>state MASTER   </code><code>#備用伺服器上為 BACKUP</code>

<code>    </code><code>interface eth1</code>

<code>    </code><code>virtual_router_id 51</code>

<code>    </code><code>priority 100  </code><code>#優先級,數值越大優先級越高;備用伺服器上為90</code>

<code>    </code><code>advert_int 1</code>

<code>    </code><code>authentication {</code>

<code>        </code><code>auth_type PASS</code>

<code>        </code><code>auth_pass 1111</code>

<code>    </code><code>}</code>

<code>    </code><code>virtual_ipaddress {</code>

<code>        </code><code>192.168.11.110</code>

<code>}</code>

<code>virtual_server 192.168.11.110 80 {</code>

<code>    </code><code>delay_loop 6                  </code><code>#(每隔6秒查詢realserver狀态,是否存活)</code>

<code>    </code><code>lb_algo wlc                  </code><code>#(輪詢算法)</code>

<code>    </code><code>lb_kind DR                  </code><code>#(Direct Route)</code>

<code>    </code><code>persistence_timeout 0    </code><code>#(同一IP的連接配接多少秒内被配置設定到同一台realserver,0表示不連接配接)</code>

<code>    </code><code>protocol TCP                </code><code>#(用TCP協定檢查realserver狀态)</code>

<code>    </code><code>real_server 192.168.11.100 80 {</code>

<code>        </code><code>weight 100               </code><code>#(權重)</code>

<code>        </code><code>TCP_CHECK {</code>

<code>        </code><code>connect_timeout 10       </code><code>#(10秒無響應逾時)</code>

<code>        </code><code>nb_get_retry 3</code>

<code>        </code><code>delay_before_retry 3</code>

<code>        </code><code>connect_port 80</code>

<code>        </code><code>}</code>

<code>real_server 192.168.11.101 80 {</code>

<code>        </code><code>weight 100</code>

<code>        </code><code>connect_timeout 10</code>

<code>     </code><code>}</code>

從director的配置檔案隻需要修改下面兩項:

state MASTER  -&gt; state BACKUP

priority 100 -&gt; priority 90

配置完keepalived後,需要開啟端口轉發(主從dr都要做):

echo 1 &gt; /proc/sys/net/ipv4/ip_forward

然後,兩個rs上執行 /usr/local/sbin/lvs_dr_rs.sh 腳本,啟動nginx服務

<code># /etc/init.d/nginx start</code>

最後,兩個director上啟動keepalived服務(先主後從):

<code># /etc/init.d/keepalived start</code>

另外,需要注意的是,啟動keepalived服務會自動生成vip和ipvsadm規則.

使用指令#ip addr    檢視dr的虛拟ip位址;直接使用ifconfig不顯示虛拟ip;

<code>[root@dr1 keepalived]</code><code># ip addr</code>

<code>eth1: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000</code>

<code>    </code><code>link</code><code>/ether</code> <code>00:0c:29:97:c3:f6 brd ff:ff:ff:ff:ff:ff</code>

<code>    </code><code>inet 192.168.11.30</code><code>/24</code> <code>brd 192.168.11.255 scope global eth1</code>

<code>  </code> 

<code>    </code><code>inet 192.168.11.110</code><code>/32</code> <code>scope global eth1</code>

<code>    </code><code>inet6 fe80::20c:29ff:fe97:c3f6</code><code>/64</code> <code>scope link </code>

<code>    </code><code>valid_lft forever preferred_lft forever</code>

在其他機器curl測試,請求rs1和rs2次數相當;

<code>[root@localhost ~]</code><code># curl 192.168.11.110</code>

<code>rs1rs1</code>

<code>rs2rs2</code>

rs2上面stop nginx,然後curl測試,發現所有的請求都到rs1上面了;

日志裡面也會記錄remove rs2;日志檔案:/var/log/messages

<code>[root@rs2 ~]</code><code># /etc/init.d/nginx stop</code>

<code>[root@dr1 ~]</code><code># tail -2 /var/log/messages</code>

<code>Jun  9 23:27:19 localhost Keepalived_healthcheckers[1572]: TCP connection to [192.168.11.101]:80 failed !!!</code>

<code>Jun  9 23:27:19 localhost Keepalived_healthcheckers[1572]: Removing service [192.168.11.101]:80 from VS [192.168.11.110]:80</code>

rs2啟動nginx,日志檔案記錄adding rs2;curl測試,發現請求平均配置設定到rs1和rs2上面了;

<code>[root@rs2 ~]</code><code># /etc/init.d/nginx start</code>

<code>Jun  9 23:31:38 localhost Keepalived_healthcheckers[1572]: TCP connection to [192.168.11.101]:80 success.</code>

<code>Jun  9 23:31:38 localhost Keepalived_healthcheckers[1572]: Adding service [192.168.11.101]:80 to VS [192.168.11.110]:80</code>

加入dr2 備用dircetor機器;

主上停止keepalive服務;stop之後,在從上ip addr檢視綁定虛拟ip,說明從接管了服務;切換速度很快;

主上啟動keepalived服務後,主綁定虛拟ip,接管服務;

<code>[root@dr2 keepalived]</code><code># ip addr</code>

<code>    </code><code>link</code><code>/ether</code> <code>00:0c:29:af:73:3f brd ff:ff:ff:ff:ff:ff</code>

<code>    </code><code>inet 192.168.11.40</code><code>/24</code> <code>brd 192.168.11.255 scope global eth1</code>

nc指令可以掃描端口是否打開:

在其他機器上掃描,11.100 和11.101,11.110的80端口是否打開;

#nc -z -w2 192.168.11.110 80

<code>[root@localhost ~]</code><code># nc -z -w2 192.168.11.100 80</code>

<code>Connection to 192.168.11.100 80 port [tcp</code><code>/http</code><code>] succeeded!</code>

<code>[root@localhost ~]</code><code># nc -z -w2 192.168.11.101 80</code>

<code>Connection to 192.168.11.101 80 port [tcp</code><code>/http</code><code>] succeeded!</code>

<code>[root@localhost ~]</code><code># nc -z -w2 192.168.11.110 80</code>

<code>Connection to 192.168.11.110 80 port [tcp</code><code>/http</code><code>] succeeded!</code>

本文轉自 模範生 51CTO部落格,原文連結:http://blog.51cto.com/mofansheng/1660329,如需轉載請自行聯系原作者

繼續閱讀