LVS負載均衡群集
群集的類型
1、負載均衡群集：以提高應用系統的相應能力，盡可能處理更多的相應請求，較少延遲為目标，獲得搞并發高負載的整體性能。例如：反向代理、LB的負載配置設定依賴于朱姐點的分流算法，将客戶及的請求分擔給多個伺服器節點，進而緩解整個系統的負載壓力。
2、高可用群集：以提高系統的可靠性，盡可能的減少中斷時間為目标，確定服務的連續性，達到高可用（HA）的容錯效果。例如：故障切斷、雙機熱備、多級熱備，等都屬于高可用群集技術。
3、高性能運算群集：以提高應用系統的CPU運算速度，擴充硬體資源和分析能力為布标，獲得相當于大型，超級計算機的高性能運算（HPC）能力。例如：雲計算，網格計算，也可視為高性能運算的一種，高性能運算叢集的高性能依賴于、分布式運算、并行運算，通過專用的硬體和軟體将多個伺服器的CPU、記憶體等資源整合在一起，實作隻有大型、超級計算機才具備的計算能力。
負載均衡的分層結構
1、 第一層，負載排程器：這是通路整個叢集系統的唯一入口，對外使用所有伺服器共有的V-IP（Virtual IP，虛拟IP）位址，已成為叢集IP位址。通常會配置主、被兩台排程器來實作熱備份，當朱排程器失效後将平滑替換至備用排程器，確定高可用性
2、 第二層，伺服器池：叢集所提供的應用服務（如 ftp http）由伺服器池承擔，其中每個節點都具有獨立的R-IP (Real IP，真實IP)位址，隻處理排程器配置設定過來的用戶端請求，當某個節點暫時失效時，負責排程器的容錯機制會将其隔離，等待錯誤排除以後重新納入伺服器池。
3、 第三層，共享存儲：為伺服器池中的所有節點提供穩定、一緻的檔案存取服務、確定整個叢集的統一性，在Linux/Unix環境中，共享存儲可以使用NAS裝置，或者提供NFS（network file system網絡檔案系統）共享服務的專用伺服器。
負載均衡的工作模式
關于叢集的負載排程技術，可以基于IP、端口、内容等進行分發，其中基于IP的負載排程是效率最高的。基于IP的負載均衡模式最常見的有以下三種
1、 位址轉換：簡稱NAT模式，類似于防火牆的私有網絡結構，負載排程器作為所有伺服器節點的網關，即作為客戶機的通路入口，也是各節點回應客戶及的通路出口。伺服器節點使用私有IP位址，與負載排程器位于同一個實體網絡，安全性要優于其他兩種方式。
2、 IP隧道：簡稱TUN模式，采用開放式的網絡結構，負載排程器僅作為客戶機的通路入口，各節點通過各自的Internet連接配接直接回複客戶機，而不在經過負載排程器，伺服器節點分散在網際網路中的不同位置，具有獨立的公網IP位址，通過專用IP隧道與負載排程器互相通信。
3、 直接路由：簡稱DR模式，采用半開放式的網絡結構，與TUN模式的結構類似，但各節點并不是分散在各地，而是與排程器位于同一個實體網絡。負責排程器與各節點伺服器通過本地網絡連接配接，不需要建立專用的IP隧道。
LVS虛拟伺服器
LVS現在已經成為Linux核心的一部分，預設編譯為ip_vs子產品，必要時能夠自動調用。怎centos7中，一下操作可以手動加載ip_vs子產品，并檢視目前系統中ip_vs子產品的版本資訊。
[root@localhost ~]# modprobe ip_vs
[root@localhost ~]# cat /proc/net/ip_vs
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
1、LVS的負載排程算法，常見的有一下四種。
1）、輪詢：将收到的伺服器通路請求按照順序輪流配置設定給叢集中的各節點，均等的對待每一台伺服器，而不管伺服器實際的連接配接數和系統負載。
2）、權重輪詢：根據真實伺服器的處理能力輪流配置設定收到的通路請求，排程器可以自動查詢各節點的負載情況，并動态調整其權重，這樣可以保證處理能力強的伺服器承擔更多的通路量。
3）、最少連接配接：根據真實伺服器已建立的連接配接數進行配置設定，将收到的通路請求有限配置設定給連接配接數最少的節點，如果所有的伺服器節點性能相近，采用這種方式可以更好的均衡負載
4）、權重最少連接配接：在伺服器節點的性能差異較大的情況下，可以為真實伺服器自動調整權重，權重較高的節點将承擔更大比例的活動連結負載。
2、使用ipvsadm管理工具
Ipvsad是在負載排程器上使用的LVS群集管理工具， 通過調用ip_vs子產品來添加、删除伺服器節點，以及檢視群集運作狀态。在centos7中，需要手動安裝ipvsadm.x86_64.0.1.27-7.el7
[root@localhost ~]# mount /dev/cdrom /mnt/
mount: /dev/sr0 寫保護，将以隻讀方式挂載
[root@localhost ~]# rm -rf /etc/yum.repos.d/*
[root@localhost ~]# vi /etc/yum.repos.d/centos.repo
[local]
name=local
baseurl=file:///mnt/
enabled=1
gpgcheck=0
:wq
[root@localhost ~]# yum -y install ipvsadm
LVS叢集的管理工作主要包括建立虛拟伺服器、添加伺服器節點、檢視群集節點狀态、删除伺服器節點和儲存負載配置設定政策。下面我們分别展示一下ipvsadm指令的操作方法
1）、建立虛拟伺服器
若群集的IP位址為192.168.10.20，針對TCP的80端口提供負載分流服務，使用的排程算法為輪詢，則對應的ipvsadm指令操作如下所示，對于負載均衡排程器來說， Virtual IP必須是本機實際已啟用的IP位址。
[root@localhost ~]# ipvsadm -A -t 192.168.10.20:80 -s rr
上述指令中，選項：-A表示添加虛拟伺服器。
選項：-t用來指定Virtual IP位址及端口。
選項：-s用來指定負載排程算法，rr：輪詢、wrr：權重輪詢、lc：最少連接配接、wlc：權重最少連接配接
2）、添加伺服器節點
為虛拟伺服器192.168.10.20添加四個伺服器節點，IP位址分别為192.168.10.30、40、50、60對應的指令如下。
[root@localhost ~]# ipvsadm -a -t 192.168.10.20:80 -r 192.168.10.30:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 192.168.10.20:80 -r 192.168.10.40:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 192.168.10.20:80 -r 192.168.10.50:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 192.168.10.20:80 -r 192.168.10.60:80 -m -w 1
上述指令中，選項：-a表示添加真實伺服器
選項：-t表示表示指定virtual IP位址及TCP端口
選項：-r用來指定RIP位址及TCP端口，
選項：-m用來指定NAT叢集模式（-g DR模式，-I TUN模式）
選項：-w用來設定權重（權重為0 時表示暫停節點）
3）、檢視群集節點狀态
[root@localhost ~]# ipvsadm -ln ##檢視伺服器節點狀态
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.10.20:80 rr
-> 192.168.10.30:80 Masq 1 0 0
-> 192.168.10.40:80 Masq 1 0 0
-> 192.168.10.50:80 Masq 1 0 0
-> 192.168.10.60:80 Masq 1 0 0
上述結果中Forward列下的Masq為（僞裝位址），表示采用的是群集模式為NAT模式，如果Route，則表示采用的群集模式為DR
删除伺服器節點
4）、删除伺服器節點
要從池中删除某個節點時，使用選項：-d。執行删除操作必須指定目标對象，包括節點位址、虛拟IP位址
例如：以下指令将會删除LVS群集192.168.10.20中的節點192.168.10.30
[root@localhost ~]# ipvsadm -d -r 192.168.10.30:80 -t 192.168.10.20:80
[root@localhost ~]# ipvsadm -ln
需要删除真個虛拟伺服器時，使用選項：-D并制定虛拟IP位址即可，無需指定節點，
例如：以下操作
[root@localhost ~]# ipvsadm -D -t 192.168.10.20:80
5）、儲存負載配置設定政策
使用導入/導出工具：ipvsadm-save：儲存。Ipvsadm-restore：恢複LVS政策。也可以使用快速清除、重建負載配置設定政策
[root@localhost ~]# ipvsadm-save > /etc/sysconfig/ipvsadm ##儲存政策
[root@localhost ~]# cat /etc/sysconfig/ipvsadm ##檢視儲存的結果
-A -t localhost.localdomain:http -s rr
-a -t localhost.localdomain:http -r 192.168.10.30:http -m -w 1
-a -t localhost.localdomain:http -r 192.168.10.40:http -m -w 1
-a -t localhost.localdomain:http -r 192.168.10.50:http -m -w 1
-a -t localhost.localdomain:http -r 192.168.10.60:http -m -w 1
[root@localhost ~]# systemctl stop ipvsadm ##停止服務（清除政策）
[root@localhost ~]# systemctl start ipvsadm ##啟動服務（重建規則）
共享存儲伺服器：NFS
NFS是一種基于tcp/ip傳輸的網絡檔案系統協定，通過使用NFS協定，客戶機可以向通路本地目錄一樣通路遠端伺服器中的共享資源。
1、 使用NFS釋出共享資源
NFS服務的實作依賴于RPC（遠端過程調用）機制，可完成遠端到本地的映射過程，我們需要以下兩個安裝包
nfs-utils：用于NFS共享釋出和通路
rpcbind：用于RPC支援
操作伺服器為：192.168.10.70
1）、安裝nfs-utils、rpcbind軟體包：并設定開機啟動。
[root@localhost ~]# yum -y install nfs-utils rpcbind
[root@localhost ~]# systemctl enable nfs
[root@localhost ~]# systemctl enable rpcbind
2）、設定共享目錄
NFS的配置檔案為/etc/exports，檔案内容預設為空（無任何共享）。
exports檔案的設定格式為“目錄位置 客戶機位址（權限選項）”
[root@localhost ~]# mkdir -p /opt/wwwroot/ ##建立共享路徑
[root@localhost ~]# vi /etc/exports ##修改配置檔案
/opt/wwwroot 192.168.10.0/24(rw,sync,no_root_squash)
其中客戶機位址可以是主機名、IP位址、IP網段、允許使用、？通配符；權限選項中rw表示允許讀寫（ro為隻讀），sync表示同步寫入，no_root_squash表示當客戶機以root身份通路時賦予本地root權限，（預設是root_squash，将作為nfsnobody使用者降級對待）。
如果需要将同一個共享目錄共享給不同的客戶機時，且權限配置設定不同時，隻要使用空格分割多個“客戶機（權限選項）”例如以下操作：
[root@localhost ~]# vi /etc/exports
/opt/wwwroot 192.168.10.30(ro) 192.168.10.40(rw)
3）、啟動nfs服務程式
[root@localhost ~]# systemctl start rpcbind
[root@localhost ~]# systemctl start nfs
[root@localhost ~]# netstat -anpt | grep rpc
tcp 0 0 0.0.0.0:20048 0.0.0.0: LISTEN 1592/rpc.mountd
tcp 0 0 0.0.0.0:52291 0.0.0.0: LISTEN 1590/rpc.statd
tcp6 0 0 :::20048 ::: LISTEN 1592/rpc.mountd
tcp6 0 0 :::46238 ::: LISTEN 1590/rpc.statd
4）、檢視本機釋出的NFS共享目錄
[root@localhost ~]# showmount -e
Export list for localhost.localdomain:
/opt/wwwroot 192.168.10.0/24
2、 在客戶機中通路NFS共享資源
NFS協定的目标是提供一種網絡檔案系統，是以對NFS共享的通路也是用mount指令進行挂載，對應的檔案系統類型為nfs，既可以手動挂載，也可以使用fstab配置檔案實作開機自動挂載。考錄到叢集系統的穩定性，建議使用專用的網絡進行連接配接。
操作伺服器為：192.168.10.30\40\50\60節點伺服器
1）、安裝rpcbind、nfs-utils軟體包，并設定為開機啟動。
在四台節點伺服器上分别安裝軟體包
[root@localhost ~]# rm -rf /etc/yum.repos.d/
如果安裝了nfs-utils軟體包，也可以在客戶機中檢視指定NFS共享伺服器共享了那些目錄
例如：以下指令
[root@localhost ~]# showmount -e 192.168.10.70
Export list for 192.168.10.70:
2）、手動挂載NFS共享目錄
以root身份執行mount操作，将NFS伺服器共享的/opt/wwwroot目錄挂載到本地目錄的/var/www/html
[root@localhost ~]# mkdir -p /var/www/html
[root@localhost ~]# mount 192.168.10.70:/opt/wwwroot /var/www/html
[root@localhost ~]# tail -1 /etc/mtab ##确認挂載結果
192.168.10.70:/opt/wwwroot /var/www/html nfs4 rw,relatime,vers=4.1,rsize=131072,wsize=131072,namlen=255,hard,proto=tcp,port=0,timeo=600,retrans=2,sec=sys,clientaddr=192.168.10.30,local_lock=none,addr=192.168.10.70 0 0
[root@localhost ~]# vi /var/www/html/index.html
<h1>my web server<h1>
檢視192.168.10.70 NFS共享伺服器的共享路徑
[root@localhost ~]# ls /opt/wwwroot/
index.html ##看到我們剛剛建立的網頁文檔，表示共享成功
3）、fstab自動挂載
修改fstab配置檔案，注意檔案系統類型為nfs，挂載參數建議添加”_netdev”(網絡裝置)
[root@localhost ~]# vi /etc/fstab
192.168.10.70:/opt/wwwroot /var/www/html nfs defaults,_netdev 0 0
建構LVS負載均衡群集
位址轉換模式（LVS-NAT）
1、 準備案例環境
在NAT模式的群集中，LVS負載排程器使所有節點的Internet網關伺服器，其外網位址10.10.10.10同僚也是整個群集的V IP位址，LVS有兩塊網卡，分别連接配接内網，外網。
對于LVS負載排程器來說，需要開啟路由轉發規則，以便節點伺服器能夠通路Internet。所有的節點伺服器、共享存儲伺服器均無語私有網絡内，預設網關為LVS負載排程器的内網位址（192.168.10.20）
2、 配置負載排程器-在192.168.10.20伺服器上操作
重新開機伺服器并添加一塊新網卡，編輯網絡配置檔案。
[root@localhost ~]# cp /etc/sysconfig/network-scripts/ifcfg-ens32 /etc/sysconfig/network-scripts/ifcfg-ens34
[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens34
TYPE=Ethernet
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
NAME=ens34
DEVICE=ens34
ONBOOT=yes
IPADDR=10.10.10.10
PREFIX=24
GATEWAY=10.10.10.1
[root@localhost ~]# systemctl restart network
1）、開啟路由轉發規則
[root@localhost ~]# vi /etc/sysctl.conf
net.ipv4.ip_forward = 1
[root@localhost ~]# sysctl -p
2）配置負載配置設定政策
[root@localhost ~]# ipvsadm -C ##清除原有政策
[root@localhost ~]# ipvsadm -A -t 10.10.10.10:80 -s rr
[root@localhost ~]# ipvsadm -a -t 10.10.10.10:80 -r 192.168.10.30:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 10.10.10.10:80 -r 192.168.10.40:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 10.10.10.10:80 -r 192.168.10.50:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 10.10.10.10:80 -r 192.168.10.60:80 -m -w 1
[root@localhost ~]# ipvsadm-save ##儲存政策
[root@localhost ~]# systemctl enable ipvsadm
3、置節點伺服器-在192.168.10.30-40-50-60上操作
所有的節點伺服器均使用相同的配置，包括httpd服務端口，網站文檔内容。在實際上各節點的網站文檔可存放在共享儲存設備中，進而免去同步的過程，但在案例調試階段可以為各節點采用不同的網頁，以便測試負載均衡效果
1）、安裝httpd，建立測試網頁
[root@localhost ~]# yum -y install nfs-utils rpcbind httpd
[root@localhost ~]# mount 192.168.10.70:/opt/wwwroot /var/www/html ##測試群集權重效果可以跳過
<h1>LVS負載均衡群集--測試網頁<h1>
2）、啟用httpd服務
[root@localhost ~]# systemctl start httpd
[root@localhost ~]# systemctl enable httpd
3）、将4台節點伺服器的網關均設定為192.168.10.20
[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens32
……… ##省略部分
IPADDR=192.168.10.30
GATEWAY=192.168.10.20
4、測試LVS群集
可以安排多台測試機，網關指向LVS外網位址（10.10.10.10），使用浏覽器通路http://10.10.10.10直接可以看到真實伺服器提供的網頁文檔，如：4台伺服器的網頁文檔不一樣，一可以試着多重新整理幾次，驗證權重效果。
在LVS負載排程器中，通過檢視節點狀态可以觀察目前負載配置設定的情況。
TCP 10.10.10.10:80 rr
-> 192.168.10.30:80 Masq 1 1 0
-> 192.168.10.40:80 Masq 1 0 1
-> 192.168.10.50:80 Masq 1 0 1
-> 192.168.10.60:80 Masq 1 0 1
直接路由模式（LVS-DR）
1、準備案例環境
在DR模式的群集中，LVS負載排程器作為群集的通路入口，但不作為網關使用，伺服器池中的所有節點都各自介入Internet，發給客戶機的響應資料包不需要經過LVS負載排程器。
這種方式入站，出站通路資料被分别處理，是以LVS負載排程器和雖有節點都需要配置VIP位址，以便響應對整個群集的通路，考錄到資料存儲的安全性，共享儲存設備會放在内部的專用網絡中
2、配置負載排程器
操作192.168.10.20負載排程伺服器
1）、配置虛拟IP位址
采用虛接口的方式（ens32:0），為王珂ens32綁定VIP位址，以便響應群集通路
配置結果為ens32 192.168.10.20、ens33:0 192.168.10.21
[root@localhost ~]# cp /etc/sysconfig/network-scripts/ifcfg-ens32 /etc/sysconfig/network-scripts/ifcfg-ens32:0
[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens32:0
NAME=ens32:0
DEVICE=ens32:0
IPADDR=192.168.10.21
GATEWAY=192.168.10.1
DNS1=202.106.0.20
[root@localhost ~]# ifup ens32:0
[root@localhost ~]# ifconfig ens32:0
ens32:0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.10.21 netmask 255.255.255.0 broadcast 192.168.10.255
ether 00:0c:29:2a:25:be txqueuelen 1000 (Ethernet)
2）、調整/proc相應參數
對于DR群集模式來說，由于LVS負載排程器和各節點需要共用VIP位址，應關閉Linux核心的重定向參數響應。
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens32.send_redirects = 0
3）、配置負載配置設定政策
[root@localhost ~]# ipvsadm -A -t 192.168.10.21:80 -s rr
[root@localhost ~]# ipvsadm -a -t 192.168.10.21:80 -r 192.168.10.30:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 192.168.10.21:80 -r 192.168.10.40:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 192.168.10.21:80 -r 192.168.10.50:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 192.168.10.21:80 -r 192.168.10.60:80 -m -w 1
3、配置節點伺服器
使用DR模式時，節點伺服器也需要配置VIP位址，并調整内個的ARP響應參數以阻止更新VIP的mac位址，避免發生沖突。除此之外，web服務的配置與NAT方式類似。
在把每個節點伺服器，同樣需要具有VIP位址：192..168.10.21，但此位址僅用于發送web響應資料包的原位址，并不需要監聽客戶機的通路請求（改由排程器監聽并分發），是以使用虛接lo:0來承載VIP位址，并未本機添加一條路由路徑，将通路VIP的資料限制在本地，以避免通信紊亂。
[root@localhost ~]# cp /etc/sysconfig/network-scripts/ifcfg-lo /etc/sysconfig/network-scripts/ifcfg-lo:0
[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
NETMASK=255.255.255.255 ##注意子網路遮罩全為1
NAME=loopback
[root@localhost ~]# ifup ifcfg-lo:0
[root@localhost ~]# ifconfig lo:0
lo:0: flags=73<UP,LOOPBACK,RUNNING> mtu 65536
inet 192.168.10.21 netmask 255.255.255.255
loop txqueuelen 1 (Local Loopback)
[root@localhost ~]# vi /etc/rc.local
/sbinroute add -host 192.168.10.21 dev lo:0 ##添加進去即可
[root@localhost ~]# route add -host 192.168.10.21 dev lo:0
2）、調整/proc響應
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
3）、安裝httpd，建立測試網頁
4）、啟用httpd服務
重複以上配置在其他節點伺服器
可以安排多台測試機，使用浏覽器從外網直接通路http://192.168.10.21直接可以看到真實伺服器提供的網頁文檔，如：4台伺服器的網頁文檔不一樣，一可以試着多重新整理幾次，驗證權重效果。