部署LVS-DR+Keepalived群集

LVS-DR模式

DR模式—直接路由（Direct Routing）

簡稱DR模式，采用半開放式的網絡結構，與TUN模式的結構類似，但各節點并不是分散在各地，而是與排程器位于同一個實體網絡
負載排程器與各節點伺服器通過本地網絡連接配接，不需要建立專用的IP隧道

LVS-DR資料包流向分析

為了友善進行原理分析，将Client與群集機器放在同一網絡中，資料包流經的路線為1-2-3-4

部署LVS-DR+Keepalived群集

（1）Client向目标VIP送出請求，Director（負載均衡器）接收，此時的IP標頭及資料幀頭資訊為：

部署LVS-DR+Keepalived群集

（2）Director根據負載均衡算法選擇RealServer_1，不修改也不封裝IP封包，而是将資料幀的MAC位址改為RealServer_1的MAC位址，然後在區域網路上發送，IP標頭及資料幀頭資訊如下：

部署LVS-DR+Keepalived群集

（3）RealServer_1收到這個幀，解封裝後發現目标IP與本機比對（

RealServer事先綁定了VIP

），于是處理這個封包，随後重新封裝封包，發送到區域網路，此時IP標頭及資料幀頭資訊為：

部署LVS-DR+Keepalived群集

（4）Cliebt将收到回複封包，Client人為得到正常的服務，而不會知道哪一台伺服器處理的

注意：如果跨網段，那麼封包通過路由器經由Internet傳回給使用者

LVS-DR中的APR問題

在LVS-DR負載均衡叢集中，負載均衡器與節點伺服器都要配置相同的VIP位址
在區域網路中具有相同的IP位址，勢必會造成各伺服器ARP通信的絮亂

（1）當一個ARP廣播發送到LVS-DR群集時，因為負載均衡器和節點伺服器都是連接配接到相同的網絡上，它們都會接收到ARP廣播

（2）此時隻有前端的負載均衡器進行響應，其它節點伺服器不應該響應ARP廣播
對節點伺服器進行處理，使其不響應針對VIP的ARP請求

（1）使用虛拟接口lo:0承載VIP位址

（2）設定核心參數arp_ignore=1：系統隻響應目的IP為本地IP的ARP請求
RealServer傳回封包（源IP是VIP）經路由器轉發，再重新封裝封包時，需要先擷取路由器的MAC位址
發送APR請求時，Linux預設使用IP包的源IP位址（即VIP）作為ARP請求包中的源IP位址，而不使用發送接口（例如ens33）的IP位址

部署LVS-DR+Keepalived群集
路由器收到ARP請求後，将更新ARP表項
原有的VIP對應Director的MAC位址将會被更新為VIP對應RealServer的MAC位址

部署LVS-DR+Keepalived群集
此時新來的請求封包，路由器根據ARP表項，會将該封包轉發給RealServer，進而導緻Director的VIP失效

部署LVS-DR+Keepalived群集
解決方法：

對節點伺服器進行處理，設定核心參數arp_announce=2：系統不使用IP包的源位址來設定ARP請求的源位址，而選擇發送接口的IP位址

解決ARP的兩個問題的設定方法

修改/etc/sysctl.conf檔案

net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.lo.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

Keepalived

在企業應用中，單台伺服器承擔應用存在單點故障的危險，在企業應用叢集中，存在了至少兩處單點故障危險，單點故障一旦發生，企業服務将發生中斷，造成極大的危害

部署LVS-DR+Keepalived群集

Keepalived工具介紹

專為LVS和HA設計的一款健康檢查工具

支援故障自動切換（Failover）

支援節點健康狀态檢查（Health Checking）

部署LVS-DR+Keepalived群集
Keepalived實作原了解析
Keepalived采用VRRP熱備份協定實作Linux伺服器的多機熱備功能
VRRP，虛拟路由備援協定，是針對路由器的一種備份解決方案

（1）由多台路由器組成一個熱備組，通過共用的虛拟IP位址對外提供服務

（2）每個熱備組内同一時刻隻有一台主路由器提供服務，其它路由器處于備援狀态

（3）若目前線上的路由器失效，則其他路由器會根據設定的優先級自動接替虛拟IP位址，繼續提供服務

部署LVS-DR+Keepalived群集實驗

1、實驗環境

實驗拓撲圖

部署LVS-DR+Keepalived群集
IP位址配置設定

主機名	IP位址
LVS主	192.168.100.110
LVS備	192.168.100.111
web1	192.168.100.201
web2	192.168.100.202
客戶機	192.168.100.120

2、LVS主備配置DR排程器

（1）安裝Keepalive和ipvsadm

[[email protected] ~]# yum install keepalived ipvsadm -y

（2）開啟路由轉發功能，proc響應關閉重定向功能

[[email protected] ~]# vim /etc/sysctl.conf
net.ipv4.ip_forward=1				//開啟路由轉發功能
#proc響應關閉重定向功能
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

[[email protected] ~]# sysctl -p		//生效配置
net.ipv4.ip_forward = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

（3）網卡配置

設定固定IP

[[email protected] ~]# cd /etc/sysconfig/network-scripts/
[[email protected] network-scripts]# vim ifcfg-ens33 
...
BOOTPROTO="static"
...
IPADDR=192.168.100.110				//LVS備的IP位址為192.168.100.111
NETMASK=255.255.255.0
GATEWAY=192.168.100.1

配置虛拟網卡

[[email protected] network-scripts]# cp -p ifcfg-ens33 ifcfg-ens33:0
[[email protected] network-scripts]# vim ifcfg-ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.100.10
NETMASK=255.255.255.0

配置完成要重新開機網卡

（4）建立LVS-DR模式啟動腳本

[[email protected] ~]# vim /etc/init.d/dr.sh

#!/bin/bash
GW=192.168.100.1
VIP=192.168.100.10
RIP1=192.168.100.201
RIP2=192.168.100.202
case "$1" in
	start)
	/sbin/ipvsadm --save > /etc/sysconfig/ipvsadm
	systemctl start ipvsadm
	/sbin/ifconfig ens33:0 $VIP broadcast $VIP netmask 255.255.255.255 broadcast $VIP up
	/sbin/route add -host $VIP dev ens33:0
	/sbin/ipvsadm -A -t $VIP:80 -s rr
	/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
	/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
	echo "ipvsadm starting--------------------|ok|"
	;;
	stop)
	/sbin/ipvsadm -C
	systemctl stop ipvsadm
	ifconfig ens33:0 down
	route del $VIP
	echo "ipvsadm stoped--------------------|ok|"
	;;
	status)
	if [ ! -e /var/lock/subsys/ipvsadm ];then
	echo "ipvsadm stoped--------------------"
	exit 1
	else
	echo "ipvsadm Running--------------------|ok|"
	fi
	;;
	*)
	echo "Usage: $0 {start|stop|status}"
	exit 1
esac
exit 0

[[email protected] ~]# vim /etc/init.d/dr.sh
[[email protected] ~]# chmod +x /etc/init.d/dr.sh 
[[email protected] ~]# service dr.sh start
ipvsadm starting--------------------|ok|

3、web伺服器配置，兩台伺服器同樣的配置

（1）安裝web服務

[[email protected] ~]# yum install httpd -y

（2）網卡配置

設定固定IP

[[email protected] ~]# cd /etc/sysconfig/network-scripts/
[[email protected] network-scripts]# vim ifcfg-ens33 
...
BOOTPROTO=static
...
IPADDR=192.168.100.201
NETMASK=255.255.255.0
GATEWAY=192.168.100.1

配置虛拟IP

[[email protected] network-scripts]# cp -p ifcfg-lo ifcfg-lo:0
[[email protected] network-scripts]# vim ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.100.10
NETMASK=255.255.255.0

配置完成要重新開機網卡

（3）建立web伺服器抑制ARP響應腳本

[[email protected] ~]# cd /etc/init.d/
[[email protected] init.d]# vim web.sh
#!/bin/bash
VIP=192.168.100.10
case "$1" in
	start)
	ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
	/sbin/route add -host $VIP dev lo:0
	echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
	echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
	echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
	echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
	sysctl -p > /dev/null 2>&1
	echo "RealServer Start OK "
	;;
	stop)
	ifconfig lo:0 down
	route del $VIP /dev/null 2>&1
	echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
	echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
	echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
	echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
	echo "RealServer Stoped"
	;;
	*)
	echo "Usage: $0 {start|stop}"
	exit 1
esac
exit 0

[[email protected] init.d]# chmod +x web.sh

（4）啟動服務

[[email protected] init.d]# service web.sh start 
RealServer Start OK 
[[email protected] init.d]# systemctl start httpd
[[email protected] init.d]# ifup lo:0

（5）自檢網站

部署LVS-DR+Keepalived群集

4、Keepalived部署（在排程伺服器上設定）

（1）更改主配置檔案

[[email protected] ~]# vim /etc/keepalived/keepalived.conf

global_defs {
  ...
  smtp_server 127.0.0.1		//指向本地
  router-id LVS_01		//指定名稱，備份伺服器不同名稱
  ...
}

vrrp_instance VI_1 {
  state MASTER			//備份伺服器是BACKUP
  interface ens33
  virtual_router_id 10		//組号相同
  priority 100			//優先級備份小于主
  ...
  auth_pass 1111		//驗證密碼
  ...
  virtual_ipaddress {
	192.168.100.10
  }
  ...
virtual_server 192.168.100.10 80 {
  ...
  lb_kind DR
  ...
  real_server 192.168.100.201 80 {
	weight 1
	TCP_CHECK {
		connect_port 80			//添加端口
		connect_timeout 3
		nb_get_retry 3
		delay_before_retry 3
	}
  }
  real_server 192.168.100.202 80 {
	weight 1
	TCP_CHECK {
		connect_port 80
		connect_timeout 3
		nb_get_retry 3
		delay_before_retry 3
	}
  }
}

（2）開啟服務

[[email protected] ~]# systemctl start keepalived

（3）用戶端測試

部署LVS-DR+Keepalived群集

（4）故障模拟，關閉主排程器網絡，依舊可以通路

部署LVS-DR+Keepalived群集

部署LVS-DR+Keepalived群集

LVS-DR模式

Keepalived

部署LVS-DR+Keepalived群集實驗

繼續閱讀

自己動手玩轉負載均衡

MySQL + keepalived 當機自動切換

keepalived實作nginx的負載均衡和高可用keepalived實作nginx的高可用注意：這裡nginx以及keepalived已經裝好了，如果沒有裝好請參考我的安裝部署文檔

keepalived 軟主備

Mysql HA-Install Keepalived+LVS+Mysql（雙主） On Redhat 6.3

nginx+keepalived高可用負載均衡安裝配置與故障測試安裝篇配置篇測試篇

LVS +Keepalived + Nginx 雙主備架構部署

Centos7離線安裝和配置Keepalived

Keepalived時主備負載均衡器都有VIP的問題：VRRP協定問題

lvs + keepalived 實作負載均衡及高可用Keepalived

Haproxy+Keepalived配置高可用的Mycat

Haproxy+keepalived負載均衡配置安裝haproxy單台haproxy負載均衡安裝keepalivedhaproxy主從高可用haproxy配置檔案詳解

一鍵部署keepalived腳本

linux搭建keepalived+tomcat+nginx 雙主機熱備排坑

Nginx中的location比對與rewrite重寫跳轉一、常見的Nginx正規表達式二、location比對三、rewrite重寫跳轉四、rewrite 示例

Nginx 服務優化（隐藏版本号+配置頁面緩存）