LVS/DR + keepalived搭建负载均衡集群

前面的lvs虽然已经配置成功也实现了负载均衡，但是我们测试的时候发现，当某台real server把nginx进程停掉，那么director照样会把请求转发过去，这样就造成了某些请求不正常。所以需要有一种机制用来检测real server的状态，这就是keepalived。它的作用除了可以检测rs状态外，还可以检测备用director的状态，也就是说keepalived可以实现ha集群的功能，当然了也需要一台备用director。

备用director也需要安装一下keepalived软件、ipvsadm；

keepalived调用lvs来实现自己的规则；

yum install -y keepalived ipvsadm

环境搭建工作：

主director    192.168.11.30    eth1网卡

从director    192.168.11.40    eth1网卡

real server1:    192.168.11.100    eth0网卡

real server2:    192.168.11.101    eth0网卡

用来curl测试的linux主机 192.168.11.0 网段即可；

主dr和备用dr都需要安装keepalived，ipvsadm；

两台rs安装nginx；

安装好后，主director的配置文件

vim /etc/keepalived/keepalived.conf   //加入如下：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

<code>vrrp_instance VI_1 {</code>

<code>    </code><code>state MASTER   </code><code>#备用服务器上为 BACKUP</code>

<code>    </code><code>interface eth1</code>

<code>    </code><code>virtual_router_id 51</code>

<code>    </code><code>priority 100  </code><code>#优先级，数值越大优先级越高；备用服务器上为90</code>

<code>    </code><code>advert_int 1</code>

<code>    </code><code>authentication {</code>

<code>        </code><code>auth_type PASS</code>

<code>        </code><code>auth_pass 1111</code>

<code>    </code><code>}</code>

<code>    </code><code>virtual_ipaddress {</code>

<code>        </code><code>192.168.11.110</code>

<code>}</code>

<code>virtual_server 192.168.11.110 80 {</code>

<code>    </code><code>delay_loop 6                  </code><code>#(每隔6秒查询realserver状态，是否存活)</code>

<code>    </code><code>lb_algo wlc                  </code><code>#(轮询算法)</code>

<code>    </code><code>lb_kind DR                  </code><code>#(Direct Route)</code>

<code>    </code><code>persistence_timeout 0    </code><code>#(同一IP的连接多少秒内被分配到同一台realserver，0表示不连接)</code>

<code>    </code><code>protocol TCP                </code><code>#(用TCP协议检查realserver状态)</code>

<code>    </code><code>real_server 192.168.11.100 80 {</code>

<code>        </code><code>weight 100               </code><code>#(权重)</code>

<code>        </code><code>TCP_CHECK {</code>

<code>        </code><code>connect_timeout 10       </code><code>#(10秒无响应超时)</code>

<code>        </code><code>nb_get_retry 3</code>

<code>        </code><code>delay_before_retry 3</code>

<code>        </code><code>connect_port 80</code>

<code>        </code><code>}</code>

<code>real_server 192.168.11.101 80 {</code>

<code>        </code><code>weight 100</code>

<code>        </code><code>connect_timeout 10</code>

<code>     </code><code>}</code>

从director的配置文件只需要修改下面两项：

state MASTER  -&gt; state BACKUP

priority 100 -&gt; priority 90

配置完keepalived后，需要开启端口转发（主从dr都要做）：

echo 1 &gt; /proc/sys/net/ipv4/ip_forward

然后，两个rs上执行 /usr/local/sbin/lvs_dr_rs.sh 脚本，启动nginx服务

<code># /etc/init.d/nginx start</code>

最后，两个director上启动keepalived服务（先主后从）：

<code># /etc/init.d/keepalived start</code>

另外，需要注意的是，启动keepalived服务会自动生成vip和ipvsadm规则.

使用命令#ip addr    查看dr的虚拟ip地址；直接使用ifconfig不显示虚拟ip；

<code>[root@dr1 keepalived]</code><code># ip addr</code>

<code>eth1: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000</code>

<code>    </code><code>link</code><code>/ether</code> <code>00:0c:29:97:c3:f6 brd ff:ff:ff:ff:ff:ff</code>

<code>    </code><code>inet 192.168.11.30</code><code>/24</code> <code>brd 192.168.11.255 scope global eth1</code>

<code>  </code> 

<code>    </code><code>inet 192.168.11.110</code><code>/32</code> <code>scope global eth1</code>

<code>    </code><code>inet6 fe80::20c:29ff:fe97:c3f6</code><code>/64</code> <code>scope link </code>

<code>    </code><code>valid_lft forever preferred_lft forever</code>

在其他机器curl测试，请求rs1和rs2次数相当；

<code>[root@localhost ~]</code><code># curl 192.168.11.110</code>

<code>rs1rs1</code>

<code>rs2rs2</code>

rs2上面stop nginx，然后curl测试，发现所有的请求都到rs1上面了；

日志里面也会记录remove rs2；日志文件：/var/log/messages

<code>[root@rs2 ~]</code><code># /etc/init.d/nginx stop</code>

<code>[root@dr1 ~]</code><code># tail -2 /var/log/messages</code>

<code>Jun  9 23:27:19 localhost Keepalived_healthcheckers[1572]: TCP connection to [192.168.11.101]:80 failed !!!</code>

<code>Jun  9 23:27:19 localhost Keepalived_healthcheckers[1572]: Removing service [192.168.11.101]:80 from VS [192.168.11.110]:80</code>

rs2启动nginx，日志文件记录adding rs2；curl测试，发现请求平均分配到rs1和rs2上面了；

<code>[root@rs2 ~]</code><code># /etc/init.d/nginx start</code>

<code>Jun  9 23:31:38 localhost Keepalived_healthcheckers[1572]: TCP connection to [192.168.11.101]:80 success.</code>

<code>Jun  9 23:31:38 localhost Keepalived_healthcheckers[1572]: Adding service [192.168.11.101]:80 to VS [192.168.11.110]:80</code>

加入dr2 备用dircetor机器；

主上停止keepalive服务；stop之后，在从上ip addr查看绑定虚拟ip，说明从接管了服务；切换速度很快；

主上启动keepalived服务后，主绑定虚拟ip，接管服务；

<code>[root@dr2 keepalived]</code><code># ip addr</code>

<code>    </code><code>link</code><code>/ether</code> <code>00:0c:29:af:73:3f brd ff:ff:ff:ff:ff:ff</code>

<code>    </code><code>inet 192.168.11.40</code><code>/24</code> <code>brd 192.168.11.255 scope global eth1</code>

nc命令可以扫描端口是否打开：

在其他机器上扫描，11.100 和11.101，11.110的80端口是否打开；

#nc -z -w2 192.168.11.110 80

<code>[root@localhost ~]</code><code># nc -z -w2 192.168.11.100 80</code>

<code>Connection to 192.168.11.100 80 port [tcp</code><code>/http</code><code>] succeeded!</code>

<code>[root@localhost ~]</code><code># nc -z -w2 192.168.11.101 80</code>

<code>Connection to 192.168.11.101 80 port [tcp</code><code>/http</code><code>] succeeded!</code>

<code>[root@localhost ~]</code><code># nc -z -w2 192.168.11.110 80</code>

<code>Connection to 192.168.11.110 80 port [tcp</code><code>/http</code><code>] succeeded!</code>

本文转自 模范生 51CTO博客，原文链接：http://blog.51cto.com/mofansheng/1660329，如需转载请自行联系原作者