一、为什么要使用keepalived
当后端实现了负载均衡后坏掉一台机器后可以用另一台后台web服务器补上,但是当前端的LVS坏掉后,整套服务就彻底废掉,因此前端的LVS也需要实现负载均衡。
Keepalived的作用是检测服务器的状态,如果有一台web服务器宕机,或工作出现故障,Keepalived将检测到,并将有故障的服务器从系统中剔除,同时使用其他服务器代替该服务器的工作,当服务器工作正常后Keepalived自动将服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的服务器。
keepalived:通过实现vrrp协议来实现地址漂移
配置文件简单:配置文件比较简单,可通过简单配置实现高可用功能
稳定性强:keepalived是一个类似于layer3,4 & 7交换机制的软件,具备我们平时说的第3层、第4层和第7层交换机的功能,常用于前端负载均衡器的高可用服务,当主服务器出现故障时,可快速进行切换,监测机制灵活,成功率高。
成本低廉:开源软件,可直接下载配置使用,没有额外费用。
应用范围广:因为keepalived可应用在多个层面,所以它几乎可以对所有应用做高可用,包括LVS、数据库、http服务、nginx负载均衡等等
支持多种类型:支持主从模式、主主模式高可用,可根据业务场景灵活选择
二、原理:
1、当用户访问前端的VIP时,到达LVS-server上,通过keepalived根据配置文件将虚拟ip VIP绑定到LVS-server-master的网卡上,首先将访问到主LVS服务器上,通过LVS分配后端realserver,当主LVS服务器出现故障后,keepalived可以将LVS-server-master的网卡上的VIP解除,重新绑定在LVS-server-backup的网卡上,用户将通过LVS-server-backup去访问后端真正的服务器。
实现一个VIP在主LVS-server和从LVS-server的漂移
2、LVS-DR工作方式
<a href="https://s4.51cto.com/oss/201711/08/1ed71dd01777a2c6b0f1354944a26df1.png" target="_blank"></a>
(a) 当用户请求到达DirectorServer,此时请求的数据报文会先到内核空间的PREROUTING链。此时报文的源IP为CIP,目标IP为VIP
(b)PREROUTING检查发现数据包的目标IP是本机,将数据包送至INPUT链
(c) IPVS比对数据包请求的服务是否为集群服务,若是,将请求报文中的源MAC地址修改为DIP的MAC地址,将目标MAC地址修改RIP的MAC地址,然后将数据包发至POSTROUTING链。此时的源IP和目的IP均未修改,仅修改了源MAC地址为DIP的MAC地址,目标MAC地址为RIP的MAC地址
(d) 由于DS和RS在同一个网络中,所以是通过二层(数据链路层)来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址,那么此时数据包将会发至Real Server。
(e)RS发现请求报文的MAC地址是自己的MAC地址,就接收此报文。处理完成之后,将响应报文通过lo接口传送给eth0网卡然后向外发出。此时的源IP地址为VIP,目标IP为CIP
(f)响应报文最终送达至客户端
三、实验:
1、环境准备:两台centos系统做DR ,一主一从,两台实现过基于LNMP的电子商务网站
LVS-server-master:VIP:172.17.251.239 桥接模式 开启路由功能,配置keepalived
LVS-server-backup:VIP:172.17.251.239 桥接模式 开启路由功能,配置keepalived
后端服务器1:RIP:172.17.251.107 桥接模式
VIP:172.17.251.239 lo:0
后端服务器2:RIP:172.17.251.110 桥接模式
2、在后端服务器上实现LNMP
在两个后端服务器上分别实现LNMP,实现方法如下
3、安装步骤:
(1)两台LVS-server都使用yum方式安装keepalived服务
(2)iptables -F&& setenforing 0 清空防火墙策略,关闭selinux
4、配置基于DR模式的LVS负载均衡集群:
配置完成后启动服务:
centos6:service keepalived start
centos7:ststemctl start keepalived
(1)在LVS-server-master上配置keepalived并启动服务
vim /etc/keepalived/keepalived.conf
<code>! Configuration File </code><code>for</code> <code>keepalived</code>
<code>global_defs {</code>
<code> </code><code>notification_email {</code>
<code> </code><code>root@localhost </code><code>#发件人信息(可以随意伪装,邮件系统不会验证处理发件人信息)</code>
<code> </code><code>}</code>
<code> </code><code>notification_email_from root</code>
<code> </code><code>smtp_server 127.0.0.1 </code><code>#发邮件的服务器(一定不可为外部地址)</code>
<code> </code><code>smtp_connect_timeout 600 </code><code>#连接查超时时间</code>
<code> </code><code>router_id KEEPAVILD_LVS </code><code>#路由器的标识(可以随便改动)</code>
<code>}</code>
<code> </code>
<code>vrrp_instance VI_1 {</code>
<code> </code><code>state MASTER </code><code># Master表示主</code>
<code> </code><code>virtual_router_id 51 </code><code>#虚拟路由的ID号(一般不可大于255) </code>
<code> </code><code>interface eth0 </code><code>#指定虚拟VIP要绑定的网卡</code>
<code> </code><code>priority 101 </code><code>#优先级信息 #备节点必须更低</code>
<code> </code><code>advert_int 1 </code><code>#VRRP通告间隔,单位秒</code>
<code> </code><code>authentication {</code>
<code> </code><code>auth_type PASS </code><code>#认证机制</code>
<code> </code><code>auth_pass centos </code><code>#密码(尽量使用随机)</code>
<code> </code><code>}</code>
<code> </code><code>virtual_ipaddress {</code>
<code> </code><code>172.17.251.239 </code><code>#设置一个virtual server: VIP:Vport</code>
<code>virtual_server 172.17.251.239 80{ </code><code>#关联80端口</code>
<code> </code><code>delay_loop 6 </code><code># service polling的delay时间,即服务轮询的时间间隔</code>
<code> </code><code>lb_algo wrr </code><code>#LVS调度算法:rr|wrr|lc|wlc|lblc|sh|dh</code>
<code> </code><code>lb_kind DR </code><code>#LVS集群模式:NAT|DR|TUN</code>
<code> </code><code>nat_mask 255.255.255.255 </code>
<code> </code><code>persistence_timeout 50 </code><code>#会话保持时间(持久连接,秒),即以用户在50秒内被分配到同一个后端realserver</code>
<code> </code><code>protocol TCP </code><code>#协议TCP </code>
<code> </code><code>real_server 172.17.251.107 80 { </code><code>#后端的真正服务器1</code>
<code> </code><code>weight 1 </code><code>#权重1</code>
<code> </code><code>HTTP_GET { </code><code>#http服务</code>
<code> </code><code>url {</code>
<code> </code><code>path /</code>
<code> </code><code>}</code>
<code> </code><code>connect_timeout 3 </code><code>#连接超时时间 </code>
<code> </code><code>nb_get_retry 3 </code><code>#重连次数</code>
<code> </code><code>delay_before_retry 3 </code><code>#重连间隔</code>
<code> </code><code>}</code>
<code> </code><code>real_server 172.17.251.110 80 {</code>
<code> </code><code>weight 1</code>
<code> </code><code>HTTP_GET {</code>
<code> </code><code>connect_timeout 3</code>
<code> </code><code>nb_get_retry 3</code>
<code> </code><code>delay_before_retry 3</code>
(1)在LVS-server-backup上配置keepalived
在LVS-server-master上将配置文件复制到从上
scp /etc/keepalived/keepalived.conf 172.17.251.108:/etc/keepalived
修改 vim /etc/keepalived/keepalived.conf
state BACKUP #从负载均衡器
priority 100 #优先级是100
5、在两台后端服务器上
要在后端的服务器上配置回环VIP,仅仅自己响应,不然和LVS
(1) ifconfig lo:0 172.17.251.239 broadcast 172.17.251.239 netmask 255.255.255.255 up
#配置VIP到本地回环网卡lo上,并只广播自己
(2)routeadd -host 172.17.251.239 lo:0
#配置本地回环网卡路由
(3)echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
# 只回答目标IP地址是来访网络接口本地地址的ARP查询请求
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
# 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.
(4)echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
#关闭arp应答
1: 仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时,才给予响应
2:必须避免将接口信息向非本网络进行通告
(5)开启web(nginx)、php-fpm、mysql服务
6、开启keepalived服务后,用ip a 查看ip是否成功添加
(1)在LVS-server-master上查看 ,用ifconfig 查看不到,用ip a 查看
(2)测试
这时关闭LVS-server-master服务 service keepalived stop
在BACKUP上ip a 查看,可以看到VIP漂移到BACKUP上了。
用curl 访问不影响访问网站不受影响。
本文转自 hawapple 51CTO博客,原文链接:http://blog.51cto.com/guanm/1980089