天天看點

Centos LVS DR模式詳細搭建過程 推薦 前言 1、LVS環境組網 2、ipvsadm安裝前準備 3、httpd與ipvsadm下載下傳 4、LVS負載均衡配置 5、真實WEB伺服器配置及arp抑制 6、LVS負載均衡測試 7、附:arp抑制參數

目錄

<a>前言... 1</a>

<a>1、LVS環境組網... 2</a>

<a>2、ipvsadm安裝前準備... 2</a>

<a>3、httpd與ipvsadm下載下傳... 3</a>

<a>4、LVS負載均衡配置... 4</a>

<a>5、真實WEB伺服器配置及arp抑制... 5</a>

<a>6、LVS負載均衡測試... 6</a>

<a>7、附:arp抑制參數... 7</a>

本文主要講解centos5.x LVS DR模式,環境搭建,理論知識請參考LVS中文官網

<a href="http://www.linuxvirtualserver.org/zh/index.html" target="_blank">http://www.linuxvirtualserver.org/zh/index.html</a>

該頁面可能顯示亂碼,如果有亂碼,在IE上右鍵勾上狀态欄,然後在頁面欄下拉選項中選擇編碼,有(GB2312和UTF-8),如果UTF-8顯示亂碼,則選GB2312。如果GB2312顯示亂碼,則選UTF-8.

Centos LVS DR模式詳細搭建過程 推薦 前言 1、LVS環境組網 2、ipvsadm安裝前準備 3、httpd與ipvsadm下載下傳 4、LVS負載均衡配置 5、真實WEB伺服器配置及arp抑制 6、LVS負載均衡測試 7、附:arp抑制參數
Centos LVS DR模式詳細搭建過程 推薦 前言 1、LVS環境組網 2、ipvsadm安裝前準備 3、httpd與ipvsadm下載下傳 4、LVS負載均衡配置 5、真實WEB伺服器配置及arp抑制 6、LVS負載均衡測試 7、附:arp抑制參數

由于是使用的VM環境,自己PC當作客戶機(即公網位址),排程器與伺服器都是VM中虛拟機,是以客戶和所有伺服器之間都是實體直接相連網絡,邏輯拓撲圖如下:

Centos LVS DR模式詳細搭建過程 推薦 前言 1、LVS環境組網 2、ipvsadm安裝前準備 3、httpd與ipvsadm下載下傳 4、LVS負載均衡配置 5、真實WEB伺服器配置及arp抑制 6、LVS負載均衡測試 7、附:arp抑制參數

外部IP位址

内部IP位址

角色

10.0.0.30/24

192.168.1.1/24

LVS排程器(虛拟機)

10.0.0.237/24

192.168.1.2/24

RS1(虛拟機)

10.0.0.238/24

192.168.1.3/24

RS2(虛拟機)

10.0.0.130/24

客戶機(自己電腦)

注:實際應用中RS1 RS2沒有外部位址,目前環境中,沒有實體雙網卡環境,都采用一個網卡配置多個IP位址。

1)在各伺服器上修改主機名:

[root@LVS1 ~]# hostname LVS1

[root@RS1 ~]# hostname RS1

[root@RS2 ~]# hostname RS2

2)在RS1 RS2上安裝httpd服務

[root@RS2 ~]# yum installhttpd –y

[root@RS2 ~]#/etc/init.d/httpd start

[root@RS2 ~# ps -ef|grephttpd

[root@RS1 ~]# yum installhttpd –y

[root@RS1 ~]# /etc/init.d/httpdstart

[root@RS1 ~# ps -ef|grephttpd&lt;==檢視httpd服務是否起來

[root@RS1 ~]# cat/etc/httpd/conf/httpd.conf|grep DocumentRoot  &lt;==查找系統站點目錄路徑

# DocumentRoot: The directoryout of which you will serve your

DocumentRoot"/var/www/html"

# This should be changed towhatever you set DocumentRoot to.

#    DocumentRoot/www/docs/dummy-host.example.com

[root@RS1 ~]# echo"RS1" &gt;/var/www/html/index.html

[root@RS2 src]# echo"RS2" &gt;/var/www/html/index.html

Httpd服務測試:

Centos LVS DR模式詳細搭建過程 推薦 前言 1、LVS環境組網 2、ipvsadm安裝前準備 3、httpd與ipvsadm下載下傳 4、LVS負載均衡配置 5、真實WEB伺服器配置及arp抑制 6、LVS負載均衡測試 7、附:arp抑制參數

測試成功!

3)下載下傳ipvsadm

wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz

wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz

我所使用的源包下載下傳目錄/usr/local/src

我的LVS環境:

[root@RS1 src]# cat/etc/redhat-release

CentOS release 5.8 (Final)

[root@RS1 src]# uname -rm

2.6.18-308.el5 x86_64

ipvsadm-1.26對核心有要求,要求核心版本在2.6.28及以後的版本,如果符合了系統環境,還要安裝依賴包yum install libnl*popt* -y。

我的核心版本不滿足,使用ipvsadm-1.24。

[root@LVS1 src]# tar -zxfipvsadm-1.24.tar.gz

[root@LVS1 src]# ll /usr/src/

total 16

drwxr-xr-x 2 root root 4096 May11  2011 debug

drwxr-xr-x 3 root root 4096Aug  5 03:53 kernels

lrwxrwxrwx1 root root   43 Aug  5 03:56 linux -&gt;/usr/src/kernels/2.6.18-348.12.1.el5-x86_64&lt;==要使用ll /usr/src/檢視,如果軟連結一閃一閃的,代表連結失敗

[root@LVS1 src]# cd ipvsadm-1.24

[root@LVS1 ipvsadm-1.24]# make&amp;&amp;make install   &lt;==如果編譯失敗,請按上面步驟一步一步排錯。

[root@LVS1 ipvsadm-1.24]# lsmod |grepip_vs     &lt;==檢視核心子產品是否有ipvsadm

[root@LVS1 ipvsadm-1.24]# ipvsadm

IP Virtual Server version 1.2.1(size=4096)

Prot LocalAddress:PortScheduler Flags

 -&gt; RemoteAddress:Port           Forward Weight ActiveConn InActConn

#還有一種加載ipvsadm方法,用modprobe ip_vs

[root@LVS1 ipvsadm-1.24]# lsmod |grepip_vs  &lt;==檢視核心子產品,有代表ipvsadm加載進核心當中,此時LVS安裝完畢

ip_vs                 122113  0

1)配置VIP和DIP

 IP配置參考步驟2安裝準備

[root@LVS1 ~]# ifconfig eth010.0.0.30 netmask 255.255.255.0   #VIP

[root@LVS1 ~]# ifconfigeth0:1 192.168.1.1 netmask 255.255.255.0 #DIP

2)添加真實伺服器

[root@LVS1 ~]# ipvsadm –C      &lt;==手工清空原來表内容

[root@LVS1 ~]# ipvsadm --set30 5 60   &lt;== 設定連接配接逾時值

[root@LVS1 ~]# ipvsadm -A -t10.0.0.30:80 -s wrr -p 20  &lt;== -A添加位址,-t指定VIP TCP端口,-s指定排程算法–p會話保持時間

[root@LVS1 ~]# ipvsadm -L –n     &lt;== 檢視表内容,添加了一組VIP位址和端口

TCP  10.0.0.30:80 wrr persistent 20

[root@LVS1 ~]# ipvsadm -a -t10.0.0.30:80 -r 192.168.1.2:80 -g -w 1  &lt;== -a指定真實伺服器, -t lvs上VIP,-r真實伺服器ip及端口,-w權重值,-g先擇DR模式(-m為NAT模式)

[root@LVS1 ~]# ipvsadm -a -t10.0.0.30:80 -r 192.168.1.3:80 -g -w 1

[root@LVS1 ~]# ipvsadm -L –n      &lt;== 檢視表内容,添加了兩台負載轉發的真實伺服器

 -&gt; 192.168.1.2:80               Route   1     0          0        

 -&gt; 192.168.1.3:80               Route   1     0          0

如果添加伺服器位址寫錯了,可用如下指令删除,即大A添加改為大D删除,小a添加改為小d删除

ipvsadm –D –t10.0.0.30:80 –s wrr

ipvsadm –d –t10.0.0.30:80 –r 192.168.1.2:80

[root@RS1 ~]# ifconfig eth0|grep "inet addr"   &lt;==此位址用來自己電腦用CRT軟體登陸裝置,同時也用來發送arp請求客戶機MAC(因為是直接傳回頁面給客戶機,而目前網絡是同一實體網段,必須同網段才正常)。

         inet addr:10.0.0.237  Bcast:10.0.0.255  Mask:255.255.255.0

[root@RS1 ~]# ifconfig eth0:1192.168.1.2 netmask 255.255.255.0   &lt;==配置内部IP位址

[root@RS1 ~]# ifconfig lo10.0.0.30 netmask 255.255.255.255   &lt;==每台真實伺服器都需要配置VIP

為什麼要綁定VIP呢?因為DR模式原理是LVS排程器修改mac位址為真實伺服器位址,封包的目的IP還是VIP沒修改,,網卡隻會把目的MAC和目的IP都是自己的封包上送CPU,是以真實伺服器上必須配置VIP!

為什麼使用lo口呢?因為lo口為本地環回口,防止本地區域網路IP位址沖突!

[root@RS2 src]# ifconfigeth0|grep "inet addr"  &lt;==此位址用來自己電腦用CRT軟體登陸裝置,同時也用來發送arp請求客戶機MAC(因為是直接傳回頁面給客戶機,而目前網絡是同一實體網段,必須同網段才正常)。

         inet addr:10.0.0.238  Bcast:10.0.0.255  Mask:255.255.255.0

[root@RS2 src]# ifconfig eth0:1192.168.1.3 netmask 255.255.255.0  &lt;==配置内部IP位址

[root@RS2 src]# ifconfig lo10.0.0.30 netmask 255.255.255.255  

此時配置完成,隻是測試時出現一個問題,再次登陸CRT中 10.0.0.30位址時,登陸到RS1上去了,再重新整理,登陸到RS2上去了。怎麼解決呢?

通過分析,得出,通路10.0.0.30時,會發送arp請求10.0.0.30的mac,而這個網絡中有3個10.0.0.30位址,此時,那誰給的arp回應到客戶機,通路的就是誰了。如果RS1的arp回應先到,就通路的RS1了

解決方法:

抑制ARP響應

[root@RS1 ~]# echo"1" &gt;/proc/sys/net/ipv4/conf/lo/arp_ignore

[root@RS1 ~]# echo"2" &gt;/proc/sys/net/ipv4/conf/lo/arp_announce

[root@RS1 ~]# echo"1" &gt;/proc/sys/net/ipv4/conf/all/arp_ignore

[root@RS1 ~]# echo"2" &gt;/proc/sys/net/ipv4/conf/all/arp_announce

[root@RS2 src]# echo"1" &gt;/proc/sys/net/ipv4/conf/lo/arp_ignore

[root@RS2 src]# echo"2" &gt;/proc/sys/net/ipv4/conf/lo/arp_announce

[root@RS2 src]# echo"1" &gt;/proc/sys/net/ipv4/conf/all/arp_ignore

[root@RS2 src]# echo"2" &gt;/proc/sys/net/ipv4/conf/all/arp_announce

1 2都代表什麼内容,可在最後附錄中檢視,也可自己網上搜尋

Centos LVS DR模式詳細搭建過程 推薦 前言 1、LVS環境組網 2、ipvsadm安裝前準備 3、httpd與ipvsadm下載下傳 4、LVS負載均衡配置 5、真實WEB伺服器配置及arp抑制 6、LVS負載均衡測試 7、附:arp抑制參數

顯示的值是RS1,則此時該連結是配置設定到192.168.1.2上

我們使用的是wrr排程算法,該算法中,誰的權重值高,會優先配置設定給誰

檢視配置,發現權重值一樣

[root@LVS1 ~]# ipvsadm -L -n

 -&gt; RemoteAddress:Port           ForwardWeight ActiveConn InActConn

 -&gt; 192.168.1.2:80               Route   1     0         0        

 -&gt; 192.168.1.3:80               Route   1     0         0  

由于有會話保持功能,接下來修改權重值

[root@LVS1 ~]# ipvsadm -d -t10.0.0.30:80 -r 192.168.1.3:80  &lt;==删除原來配置

[root@LVS1 ~]# ipvsadm -a -t10.0.0.30:80 -r 192.168.1.3:80 -g -w 2 &lt;==重新配置權重值為2

 -&gt; 192.168.1.3:80               Route   2     0         0        

 -&gt; 192.168.1.2:80               Route  1     0         0    

再次進行測試:

Centos LVS DR模式詳細搭建過程 推薦 前言 1、LVS環境組網 2、ipvsadm安裝前準備 3、httpd與ipvsadm下載下傳 4、LVS負載均衡配置 5、真實WEB伺服器配置及arp抑制 6、LVS負載均衡測試 7、附:arp抑制參數

arp響應限制

1)arp_ignore:

定義對目标位址為本地IP的ARP詢問不同的應答模式0

0 - (預設值): 回應任何網絡接口上對任何本地IP位址的arp查詢請求

2 -隻回答目标IP位址是來訪網絡接口本地位址的ARP查詢請求,且來訪IP必須在該網絡接口的子網段内

3 - 不回應該網絡界面的arp請求,而隻對設定的唯一和連接配接位址做出回應

4-7 - 保留未使用

8 -不回應所有(本地位址)的arp查詢

2)arp_announce:

對網絡接口上,本地IP位址的發出的,ARP回應,作出相應級别的限制: 确定不同程度的限制,宣布對來自本地源IP位址發出Arp請求的接口

0 - (預設) 在任意網絡接口(eth0,eth1,lo)上的任何本地位址

1 -盡量避免不在該網絡接口子網段的本地位址做出arp回應. 當發起ARP請求的源IP位址是被設定應該經由路由達到此網絡接口的時候很有用.此時會檢查來訪IP是否為所有接口上的子網段内ip之一.如果改來訪IP不屬于各個網絡接口上的子網段内,那麼将采用級别2的方式來進行處理.

2 - 對查詢目标使用最适當的本地位址.在此模式下将忽略這個IP資料包的源位址并嘗試選擇與能與該位址通信的本地位址.首要是選擇所有的網絡接口的子網中外出通路子網中包含該目标IP位址的本地位址. 如果沒有合适的位址被發現,将選擇目前的發送網絡接口或其他的有可能接受到該ARP回應的網絡接口來進行發送.

繼續閱讀