CentOS 6.4 Heartbeat+httpd+nfs實作高可用的web伺服器

一、Heartbeat概念

Heartbeat是Linux-HA項目中的一個元件，也是目前開源HA項目中最成功的一個例子, Linux-HA的全稱是High-Availability Linux,這個開源項目的目标是：通過社群開發者的共同努力，提供一個增強linux可靠性（reliability)、可用性（availability）和可服務性（serviceability）（RAS）的群集解決方案.Heartbeat提供了所有 HA 軟體所需要的基本功能，比如心跳檢測和資源接管、監測群集中的系統服務、在群集中的節點間轉移共享 IP 位址的所有者等.

Heartbeat官方站點：

二、準備工作

1、Heartbeat網絡架構

2、作業系統

<code>CentOS 6.4 X86-64 最小化安裝</code>

<code>由于用源碼編譯安裝heartbeat一直沒有通過，是以沒辦法隻能采用yum安裝。</code>

<code>heartbeat v3</code>

3、位址規劃

<code>node1 192.168.0.101 255.255.255.0 192.168.0.1 node1.</code><code>test</code><code>.com eth1 Active</code>

<code>node2 192.168.0.102 255.255.255.0 192.168.0.1 node2.</code><code>test</code><code>.com eth1 Passive</code>

4、主機名解析

<code>[root@node1 ~]</code><code># uname -n</code>

<code>[root@node1 ~]</code><code># cat /etc/hosts</code>

<code>127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4</code>

<code>::1 localhost localhost.localdomain localhost6 localhost6.localdomain6</code>

<code>[root@node2 ~]</code><code># uname -n</code>

<code>[root@node2 ~]</code><code># cat /etc/hosts</code>

5、雙機互信

<code>[root@node1 ~]</code><code># ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ''</code>

<code>Generating public</code><code>/private</code> <code>rsa key pair.</code>

<code>Created directory </code><code>'/root/.ssh'</code><code>.</code>

<code>Your identification has been saved </code><code>in</code> <code>/root/</code><code>.</code><code>ssh</code><code>/id_rsa</code><code>.</code>

<code>Your public key has been saved </code><code>in</code> <code>/root/</code><code>.</code><code>ssh</code><code>/id_rsa</code><code>.pub.</code>

<code>The key fingerprint is:</code>

<code>The key's randomart image is:</code>

<code>[root@node1 ~]</code><code># ssh-copy-id -i .ssh/id_rsa.pub [email protected]</code>

<code>The authenticity of host </code><code>'node2.test.com (192.168.0.102)'</code> <code>can't be established.</code>

<code>RSA key fingerprint is 46:b9:7c:11:db:75:93:ad:f1:26:f0:a7:4d:00:40:20.</code>

<code>Are you sure you want to </code><code>continue</code> <code>connecting (</code><code>yes</code><code>/no</code><code>)? </code><code>yes</code>

<code>Warning: Permanently added </code><code>'node2.test.com,192.168.0.102'</code> <code>(RSA) to the list of known hosts.</code>

<code>root@node2.</code><code>test</code><code>.com's password: </code>

<code>Now try logging into the machine, with </code><code>"ssh '[email protected]'"</code><code>, and check </code><code>in</code><code>:</code>

<code> </code><code>.</code><code>ssh</code><code>/authorized_keys</code>

<code>to </code><code>make</code> <code>sure we haven</code><code>'t added extra keys that you weren'</code><code>t expecting.</code>

<code>[root@node2 ~]</code><code># ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ''</code>

<code>[root@node2 ~]</code><code># ssh-copy-id -i .ssh/id_rsa.pub [email protected]</code>

<code>The authenticity of host </code><code>'node1.test.com (192.168.0.101)'</code> <code>can't be established.</code>

<code>Warning: Permanently added </code><code>'node1.test.com,192.168.0.101'</code> <code>(RSA) to the list of known hosts.</code>

<code>root@node1.</code><code>test</code><code>.com's password: </code>

<code>Now try logging into the machine, with </code><code>"ssh '[email protected]'"</code><code>, and check </code><code>in</code><code>:</code>

6、時間同步

<code># yum -y install ntpdate</code>

<code># ntpdate asia.pool.ntp.org</code>

7、關閉防火牆

<code># getenforce</code>

<code>Disabled</code>

<code># /etc/init.d/iptables status</code>

<code>iptables：未運作防火牆。</code>

三、安裝heartbeat包

1、node1和node2節點安裝epel源

<code># wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm </code>

<code># wget http://rpms.famillecollet.com/enterprise/remi-release-6.rpm </code>

<code># rpm -Uvh remi-release-6*.rpm epel-release-6*.rpm</code>

2、修改epel源的配置檔案

<code># sed -i 's/#baseurl/baseurl/g' /etc/yum.repos.d/epel.repo </code>

<code># sed -i 's/mirrorlist/#mirrorlist/' /etc/yum.repos.d/epel.repo</code>

3、安裝heartbeat包

<code># yum install heartbeat heartbeat-libs</code>

4、檢視heartbeat所依賴的包

四、配置Heartbeat服務

1、heartbeat配置檔案的介紹

<code>heartbeat3個配置檔案</code>

<code> </code><code>authkeys </code><code>#節點之間認證的秘鑰key檔案，權限為600</code>

<code> </code><code>ha.cf </code><code>#heartbeat服務核心配置檔案</code>

<code> </code><code>haresources </code><code>#叢集資料總管(haresource | crm)</code>

2、拷貝heartbeat初始配置檔案

<code>[root@node1 ~]</code><code># cp /usr/share/doc/heartbeat-3.0.4/{ha.cf,authkeys,haresources} /etc/ha.d/</code>

3、編輯authkeys檔案

<code>[root@node1 ~]</code><code># dd if=/dev/random bs=512 count=1 | openssl md5 #生成密鑰随機數</code>

<code>(stdin)= acf7401e6b20d4cec482ba1160eb8efe</code>

<code>[root@node1 ~]</code><code># vim /etc/ha.d/authkeys</code>

<code>#注釋：末尾添加以下兩行</code>

<code>[root@node1 ~]</code><code># chmod 600 /etc/ha.d/authkeys</code>

4、編輯ha.cf主配置檔案

<code>注釋：主要修改兩處，其它的都可以預設</code>

<code>logfacility local0</code>

<code>mcast eth1 225.100.100.100 694 1 0 </code><code>#修改心跳資訊的傳播方式|多點傳播</code>

<code>auto_failback on</code>

<code>node node1.</code><code>test</code><code>.com </code><code>#配置叢集中的節點數</code>

<code>node node2.</code><code>test</code><code>.com </code><code>#配置叢集中的節點數</code>

5、編輯haresources配置檔案

<code>[root@node1 ha.d]</code><code># grep -v '^#' /etc/ha.d/haresources </code>

<code>node1.</code><code>test</code><code>.com IPaddr::192.168.0.200</code><code>/24/eth1</code> <code>httpd</code>

6、拷貝配置檔案到node2節點

<code>[root@node1 ~]</code><code># scp /etc/ha.d/{ha.cf,haresources,authkeys} [email protected]:/etc/ha.d/</code>

五、節點提供httpd服務

1、安裝httpd包

<code>[root@node1 ~]</code><code># yum -y install httpd</code>

2、提供測試頁面

<code>[root@node1 ~]</code><code># echo "<h1>node1.test.com</h1>" > /var/www/html/index.html</code>

3、啟動httpd服務

<code>[root@node1 ~]</code><code># service httpd start</code>

4、浏覽器通路web頁面

注釋：測試完成後關閉服務，并讓其開機不啟動，httpd由heartbeat(haresource)管理

5、停止httpd服務，設定開機不啟動httpd服務

<code>[root@node1 ~]</code><code># service httpd stop</code>

<code>停止 httpd： [确定]</code>

<code>[root@node1 ~]</code><code># chkconfig httpd off</code>

<code>[root@node1 ~]</code><code># chkconfig --list httpd</code>

<code>httpd 0:關閉 1:關閉 2:關閉 3:關閉 4:關閉 5:關閉 6:關閉</code>

6、節點2同上操作

<code>[root@node2 ~]</code><code># yum -y install httpd</code>

<code>[root@node2 ~]</code><code># echo "<h1>node2.test.com</h1>" > /var/www/html/index.html</code>

<code>[root@node2 ~]</code><code># service httpd start</code>

<code>[root@node2 ~]</code><code># service httpd stop</code>

<code>[root@node2 ~]</code><code># chkconfig httpd off</code>

7、通路節點2的httpd服務測試頁面

六、啟動heartbeat服務

1、啟動heartbeat服務

<code>[root@node1 ~]</code><code># /etc/init.d/heartbeat start </code>

<code>Starting High-Availability services: INFO: Resource is stopped</code>

<code>[root@node1 ~]</code><code># ssh node2 "/etc/init.d/heartbeat start"</code>

<code>Starting High-Availability services: 2014</code><code>/12/25_21</code><code>:09:12 INFO: Resource is stopped</code>

2、檢視heartbeat日志

<code>[root@node1 ~]</code><code># tail -f /var/log/message</code>

3、檢視vip資訊

<code>1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN </code>

<code> </code><code>link</code><code>/loopback</code> <code>00:00:00:00:00:00 brd 00:00:00:00:00:00</code>

<code> </code><code>inet 127.0.0.1</code><code>/8</code> <code>scope host lo</code>

<code> </code><code>inet6 ::1</code><code>/128</code> <code>scope host </code>

<code> </code><code>valid_lft forever preferred_lft forever</code>

<code>2: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000</code>

<code> </code><code>link</code><code>/ether</code> <code>00:0c:29:c7:14:97 brd ff:ff:ff:ff:ff:ff</code>

<code> </code><code>inet 192.168.0.101</code><code>/24</code> <code>brd 192.168.0.255 scope global eth1</code>

<code> </code><code>inet 192.168.0.200</code><code>/24</code> <code>scope global eth1 </code><code>#vip已經成功綁定在eth1的網卡上</code>

<code> </code><code>inet6 fe80::20c:29ff:fec7:1497</code><code>/64</code> <code>scope link </code>

4、檢視httpd服務是否被heartbeat接管

<code>[root@node1 ~]</code><code># netstat -tnlpu |grep httpd</code>

<code>tcp 0 0 :::80 :::* LISTEN 2140</code><code>/httpd</code>

5、浏覽器通路測試

<code>[root@node1 ~]</code><code># sh /usr/share/heartbeat/hb_standby</code>

<code>Going standby [all].</code>

7、檢視node1節點的日志資訊

<code>[root@node1 ~]</code><code># tail -f /var/log/messages </code>

<code>Dec 25 21:36:11 node1 heartbeat: [1255]: info: node1.</code><code>test</code><code>.com wants to go standby [all]</code>

<code>Dec 25 21:36:11 node1 heartbeat: [1255]: info: standby: node2.</code><code>test</code><code>.com can take our all resources</code>

<code>Dec 25 21:36:11 node1 heartbeat: [1701]: info: give up all HA resources (standby).</code>

<code>Dec 25 21:36:11 node1 ResourceManager(default)[1714]: info: Releasing resource group: node1.</code><code>test</code><code>.com IPaddr::192.168.0.200</code><code>/24/eth1</code> <code>httpd</code>

<code>Dec 25 21:36:11 node1 ResourceManager(default)[1714]: info: Running </code><code>/etc/init</code><code>.d</code><code>/httpd</code> <code>stop</code>

<code>Dec 25 21:36:11 node1 ResourceManager(default)[1714]: info: Running </code><code>/etc/ha</code><code>.d</code><code>/resource</code><code>.d</code><code>/IPaddr</code> <code>192.168.0.200</code><code>/24/eth1</code> <code>stop</code>

<code>Dec 25 21:36:11 node1 IPaddr(IPaddr_192.168.0.200)[1789]: INFO: IP status = ok, IP_CIP=</code>

<code>Dec 25 21:36:11 node1 </code><code>/usr/lib/ocf/resource</code><code>.d</code><code>//heartbeat/IPaddr</code><code>(IPaddr_192.168.0.200)[1763]: INFO: Success</code>

<code>Dec 25 21:36:11 node1 heartbeat: [1701]: info: all HA resource release completed (standby).</code>

<code>Dec 25 21:36:11 node1 heartbeat: [1255]: info: Local standby process completed [all].</code>

<code>Dec 25 21:36:12 node1 heartbeat: [1255]: WARN: 1 lost packet(s) </code><code>for</code> <code>[node2.</code><code>test</code><code>.com] [425:427]</code>

<code>Dec 25 21:36:12 node1 heartbeat: [1255]: info: remote resource transition completed.</code>

<code>Dec 25 21:36:12 node1 heartbeat: [1255]: info: No pkts missing from node2.</code><code>test</code><code>.com!</code>

<code>Dec 25 21:36:12 node1 heartbeat: [1255]: info: Other node completed standby takeover of all resources.</code>

8、注釋說明

<code>node1節點由Active切換到Passive後，httpd服務停止，vip有node1轉移到node2上</code>

9、檢視node2節點

<code> </code><code>link</code><code>/ether</code> <code>00:0c:29:ad:9f:36 brd ff:ff:ff:ff:ff:ff</code>

<code> </code><code>inet 192.168.0.102</code><code>/24</code> <code>brd 192.168.0.255 scope global eth1</code>

<code> </code><code>inet 192.168.0.200</code><code>/24</code> <code>brd 192.168.0.255 scope global secondary eth1</code>

<code> </code><code>inet6 fe80::20c:29ff:fead:9f36</code><code>/64</code> <code>scope link </code>

<code>[root@node2 ~]</code><code># netstat -tnlp |grep httpd</code>

<code>tcp 0 0 :::80 :::* LISTEN 2709</code><code>/httpd</code>

10、vip轉移後再次通路

七、Heartbeat的共享存儲

1、配置node3的NFS服務

<code>[root@node3 ~]</code><code># yum -y install nfs-utils rpcbind</code>

<code>[root@node3 ~]</code><code># mkdir /web/htdocs -p </code>

<code>[root@node3 ~]</code><code># cat /etc/exports </code>

<code>/web/htdocs</code> <code>192.168.0.0</code><code>/24</code><code>(ro) </code>

<code>[root@node3 ~]</code><code># /etc/init.d/rpcbind start</code>

<code>[root@node3 ~]</code><code># /etc/init.d/nfs start </code>

<code>[root@node3 ~]</code><code># showmount -e '192.168.0.103'</code>

<code>Export list </code><code>for</code> <code>192.168.0.103:</code>

<code>/web/htdocs</code> <code>192.168.0.0</code><code>/24</code>

<code>[root@node3 ~]</code><code># echo "<h1>node3 nfs server</h1>" > /web/htdocs/index.html</code>

2、節點挂載測試

node1

<code>[root@node1 ~]</code><code># mount -t nfs 192.168.0.103:/web/htdocs /mnt/</code>

<code>-rw-r--r-- 1 nobody nobody 26 12月 25 21:53 index.html</code>

<code>[root@node1 ~]</code><code># cat /mnt/index.html </code>

<code><h1>node3 nfs server<</code><code>/h1</code><code>></code>

<code>檔案系統 1K-塊已用可用已用% 挂載點</code>

<code>/dev/mapper/VolGroup-lv_root</code>

<code>tmpfs 247208 0 247208 0% </code><code>/dev/shm</code>

<code>192.168.0.103:</code><code>/web/htdocs</code>

<code>[root@node1 ~]</code><code># umount /mnt/</code>

node2

<code>[root@node2 ~]</code><code># mount -t nfs 192.168.0.103:/web/htdocs /mnt/</code>

<code>[root@node2 ~]</code><code># cat /mnt/index.html </code>

<code>[root@node2 ~]</code><code># umount /mnt/</code>

3、停止node1和node2節點的heartbeat服務

<code>[root@node1 ~]</code><code># ssh node2 'service heartbeat stop'</code>

<code>Stopping High-Availability services: Done.</code>

<code>[root@node1 ~]</code><code># service heartbeat stop</code>

4、修改haresource配置檔案

<code>[root@node1 ~]</code><code># vim /etc/ha.d/haresources </code>

<code>node1.</code><code>test</code><code>.com IPaddr::192.168.0.200</code><code>/24/eth1</code> <code>Filesystem::192.168.0.103:</code><code>/web/htdocs</code><code>::</code><code>/var/www/html</code><code>::nfs httpd</code>

5、拷貝修改後的haresource配置檔案到node2

<code>[root@node1 ~]</code><code># scp /etc/ha.d/haresources [email protected]:/etc/ha.d/</code>

6、啟動節點的heartbeat服務

<code>[root@node1 ~]</code><code># service heartbeat start</code>

<code>[root@node1 ~]</code><code># ssh node2 "service heartbeat start"</code>

<code>Starting High-Availability services: 2014</code><code>/12/25_22</code><code>:01:40 INFO: Resource is stopped</code>

7、浏覽器測試通路

<code>[root@node1 ~]</code><code># netstat -tnlp |grep httpd</code>

<code>tcp 0 0 :::80 :::* LISTEN 3301</code><code>/httpd</code>

<code>[root@node1 ~]</code><code># cat /var/www/html/index.html </code>

9、停止node1節點的heartbeat服務，進行切換，并檢視vip資訊，再次通路vip位址

八、測試Heartbeat高可用

正常關閉和重新開機主節點的heartbeat服務或者腳本切換主節點為備用節點

<code>正常關閉Heartbeat服務：</code><code>/etc/init</code><code>.d</code><code>/heartbeat</code> <code>stop && service heartbeat stop</code>

<code>腳本切換主節點為備用節點：sh </code><code>/usr/share/heartbeat/hb_standby</code>

<code>在主節點node1上關閉heartbeat服務執行“service heartbeat stop”，正常關閉主節點的heartbeat服務程序。此時主節點通過“ip addr”指令檢視主節點的網卡資訊，正常情況下，</code>

<code>應該可以看到主節點已經釋放了叢集服務的ip(vip)位址，同時釋放了挂載磁盤的共享分區，并且httpd服務處于停止狀态。</code>

<code>然後登陸備用節點執行“</code><code>ssh</code> <code>node2'”檢視備用節點node2相關屬性資訊，在備用節點node2上用“ip addr”指令檢視叢集ip(vip)是否已經被接管，同時是否已經挂載上了共享磁盤分區，</code>

<code>并且httpd服務是否已經啟動;得出的結論就是備用節點已經接管了vip位址，共享磁盤分區已經被挂載，httpd服務已經啟動。</code>

<code>在這個過程中，使用</code><code>ping</code><code>指令對叢集服務ip(vip)進行測試，可以看到叢集服務ip一直處于可通狀态，并沒有任何延遲和堵塞現象，也就是說在正常關閉主節點node1上的heartbeat服務</code>

<code>的情況下，主備節點的切換時無縫的，HA對外提供的服務可以不間斷運作。</code>

<code>接着，主節點的Heartbeat服務正常啟動，那麼備用節點的叢集服務ip(vip)将被釋放，同時解除安裝挂載的共享磁盤分區和停止httpd服務，反而主節點将再次接管叢集服務ip(vip)和</code>

<code>挂載共享磁盤分區，其實備用節點釋放資源與主節點綁定資源是同步進行的。因而，這個過程也是一個無縫切換。</code>

<code>但是大家需要注意的是主節點重新上線後，在進行</code><code>ping</code><code>測試的過程中會有一次中斷，不過是瞬間的影響不是很大。</code>

到此，heartbeat的web高可用就完成了。後續會繼續補充Heartbeat對mysql服務的高可用！

本文轉自zys467754239 51CTO部落格，原文連結：http://blog.51cto.com/467754239/1596073，如需轉載請自行聯系原作者

CentOS 6.4 Heartbeat+httpd+nfs實作高可用的web伺服器

繼續閱讀

debian9更新4.9.0核心到4.19.2核心過程

centOS7 配置 vsftpd 虛拟使用者及權限Vsftpd配置虛拟使用者及權限

linux-svn解除安裝與安裝

vsftp虛拟多使用者多權限一鍵部署腳本

Ubuntu14.04 LTS下安裝mongodb

httpd服務的部署、啟動、配置和簡單優化一、部署二、啟動三、配置檔案

配置網頁内容通路

手動安裝Intel network I217-LM網卡的Linux驅動

禁止ubuntu系統彈出報錯界面

Ubuntu Linux下Apache的配置檔案

Bugku-WEB-web33

samba伺服器的功能

【Linux】UDP廣播封包接收速率問題

Linux裝置模型（中）之上層容器

PowerPC平台 Linux移植三