CentOS 6.4 Heartbeat+httpd+nfs实现高可用的web服务器

一、Heartbeat概念

Heartbeat是Linux-HA项目中的一个组件，也是目前开源HA项目中最成功的一个例子, Linux-HA的全称是High-Availability Linux,这个开源项目的目标是：通过社区开发者的共同努力，提供一个增强linux可靠性（reliability)、可用性（availability）和可服务性（serviceability）（RAS）的群集解决方案.Heartbeat提供了所有 HA 软件所需要的基本功能，比如心跳检测和资源接管、监测群集中的系统服务、在群集中的节点间转移共享 IP 地址的所有者等.

Heartbeat官方站点：

二、准备工作

1、Heartbeat网络架构

2、操作系统

<code>CentOS 6.4 X86-64 最小化安装</code>

<code>由于用源码编译安装heartbeat一直没有通过，所以没办法只能采用yum安装。</code>

<code>heartbeat v3</code>

3、地址规划

<code>node1 192.168.0.101 255.255.255.0 192.168.0.1 node1.</code><code>test</code><code>.com eth1 Active</code>

<code>node2 192.168.0.102 255.255.255.0 192.168.0.1 node2.</code><code>test</code><code>.com eth1 Passive</code>

4、主机名解析

<code>[root@node1 ~]</code><code># uname -n</code>

<code>[root@node1 ~]</code><code># cat /etc/hosts</code>

<code>127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4</code>

<code>::1 localhost localhost.localdomain localhost6 localhost6.localdomain6</code>

<code>[root@node2 ~]</code><code># uname -n</code>

<code>[root@node2 ~]</code><code># cat /etc/hosts</code>

5、双机互信

<code>[root@node1 ~]</code><code># ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ''</code>

<code>Generating public</code><code>/private</code> <code>rsa key pair.</code>

<code>Created directory </code><code>'/root/.ssh'</code><code>.</code>

<code>Your identification has been saved </code><code>in</code> <code>/root/</code><code>.</code><code>ssh</code><code>/id_rsa</code><code>.</code>

<code>Your public key has been saved </code><code>in</code> <code>/root/</code><code>.</code><code>ssh</code><code>/id_rsa</code><code>.pub.</code>

<code>The key fingerprint is:</code>

<code>The key's randomart image is:</code>

<code>[root@node1 ~]</code><code># ssh-copy-id -i .ssh/id_rsa.pub [email protected]</code>

<code>The authenticity of host </code><code>'node2.test.com (192.168.0.102)'</code> <code>can't be established.</code>

<code>RSA key fingerprint is 46:b9:7c:11:db:75:93:ad:f1:26:f0:a7:4d:00:40:20.</code>

<code>Are you sure you want to </code><code>continue</code> <code>connecting (</code><code>yes</code><code>/no</code><code>)? </code><code>yes</code>

<code>Warning: Permanently added </code><code>'node2.test.com,192.168.0.102'</code> <code>(RSA) to the list of known hosts.</code>

<code>root@node2.</code><code>test</code><code>.com's password: </code>

<code>Now try logging into the machine, with </code><code>"ssh '[email protected]'"</code><code>, and check </code><code>in</code><code>:</code>

<code> </code><code>.</code><code>ssh</code><code>/authorized_keys</code>

<code>to </code><code>make</code> <code>sure we haven</code><code>'t added extra keys that you weren'</code><code>t expecting.</code>

<code>[root@node2 ~]</code><code># ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ''</code>

<code>[root@node2 ~]</code><code># ssh-copy-id -i .ssh/id_rsa.pub [email protected]</code>

<code>The authenticity of host </code><code>'node1.test.com (192.168.0.101)'</code> <code>can't be established.</code>

<code>Warning: Permanently added </code><code>'node1.test.com,192.168.0.101'</code> <code>(RSA) to the list of known hosts.</code>

<code>root@node1.</code><code>test</code><code>.com's password: </code>

<code>Now try logging into the machine, with </code><code>"ssh '[email protected]'"</code><code>, and check </code><code>in</code><code>:</code>

6、时间同步

<code># yum -y install ntpdate</code>

<code># ntpdate asia.pool.ntp.org</code>

7、关闭防火墙

<code># getenforce</code>

<code>Disabled</code>

<code># /etc/init.d/iptables status</code>

<code>iptables：未运行防火墙。</code>

三、安装heartbeat包

1、node1和node2节点安装epel源

<code># wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm </code>

<code># wget http://rpms.famillecollet.com/enterprise/remi-release-6.rpm </code>

<code># rpm -Uvh remi-release-6*.rpm epel-release-6*.rpm</code>

2、修改epel源的配置文件

<code># sed -i 's/#baseurl/baseurl/g' /etc/yum.repos.d/epel.repo </code>

<code># sed -i 's/mirrorlist/#mirrorlist/' /etc/yum.repos.d/epel.repo</code>

3、安装heartbeat包

<code># yum install heartbeat heartbeat-libs</code>

4、查看heartbeat所依赖的包

四、配置Heartbeat服务

1、heartbeat配置文件的介绍

<code>heartbeat3个配置文件</code>

<code> </code><code>authkeys </code><code>#节点之间认证的秘钥key文件，权限为600</code>

<code> </code><code>ha.cf </code><code>#heartbeat服务核心配置文件</code>

<code> </code><code>haresources </code><code>#集群资源管理器(haresource | crm)</code>

2、拷贝heartbeat初始配置文件

<code>[root@node1 ~]</code><code># cp /usr/share/doc/heartbeat-3.0.4/{ha.cf,authkeys,haresources} /etc/ha.d/</code>

3、编辑authkeys文件

<code>[root@node1 ~]</code><code># dd if=/dev/random bs=512 count=1 | openssl md5 #生成密钥随机数</code>

<code>(stdin)= acf7401e6b20d4cec482ba1160eb8efe</code>

<code>[root@node1 ~]</code><code># vim /etc/ha.d/authkeys</code>

<code>#注释：末尾添加以下两行</code>

<code>[root@node1 ~]</code><code># chmod 600 /etc/ha.d/authkeys</code>

4、编辑ha.cf主配置文件

<code>注释：主要修改两处，其它的都可以默认</code>

<code>logfacility local0</code>

<code>mcast eth1 225.100.100.100 694 1 0 </code><code>#修改心跳信息的传播方式|组播</code>

<code>auto_failback on</code>

<code>node node1.</code><code>test</code><code>.com </code><code>#配置集群中的节点数</code>

<code>node node2.</code><code>test</code><code>.com </code><code>#配置集群中的节点数</code>

5、编辑haresources配置文件

<code>[root@node1 ha.d]</code><code># grep -v '^#' /etc/ha.d/haresources </code>

<code>node1.</code><code>test</code><code>.com IPaddr::192.168.0.200</code><code>/24/eth1</code> <code>httpd</code>

6、拷贝配置文件到node2节点

<code>[root@node1 ~]</code><code># scp /etc/ha.d/{ha.cf,haresources,authkeys} [email protected]:/etc/ha.d/</code>

五、节点提供httpd服务

1、安装httpd包

<code>[root@node1 ~]</code><code># yum -y install httpd</code>

2、提供测试页面

<code>[root@node1 ~]</code><code># echo "<h1>node1.test.com</h1>" > /var/www/html/index.html</code>

3、启动httpd服务

<code>[root@node1 ~]</code><code># service httpd start</code>

4、浏览器访问web页面

注释：测试完成后关闭服务，并让其开机不启动，httpd由heartbeat(haresource)管理

5、停止httpd服务，设置开机不启动httpd服务

<code>[root@node1 ~]</code><code># service httpd stop</code>

<code>停止 httpd： [确定]</code>

<code>[root@node1 ~]</code><code># chkconfig httpd off</code>

<code>[root@node1 ~]</code><code># chkconfig --list httpd</code>

<code>httpd 0:关闭 1:关闭 2:关闭 3:关闭 4:关闭 5:关闭 6:关闭</code>

6、节点2同上操作

<code>[root@node2 ~]</code><code># yum -y install httpd</code>

<code>[root@node2 ~]</code><code># echo "<h1>node2.test.com</h1>" > /var/www/html/index.html</code>

<code>[root@node2 ~]</code><code># service httpd start</code>

<code>[root@node2 ~]</code><code># service httpd stop</code>

<code>[root@node2 ~]</code><code># chkconfig httpd off</code>

7、访问节点2的httpd服务测试页面

六、启动heartbeat服务

1、启动heartbeat服务

<code>[root@node1 ~]</code><code># /etc/init.d/heartbeat start </code>

<code>Starting High-Availability services: INFO: Resource is stopped</code>

<code>[root@node1 ~]</code><code># ssh node2 "/etc/init.d/heartbeat start"</code>

<code>Starting High-Availability services: 2014</code><code>/12/25_21</code><code>:09:12 INFO: Resource is stopped</code>

2、查看heartbeat日志

<code>[root@node1 ~]</code><code># tail -f /var/log/message</code>

3、查看vip信息

<code>1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN </code>

<code> </code><code>link</code><code>/loopback</code> <code>00:00:00:00:00:00 brd 00:00:00:00:00:00</code>

<code> </code><code>inet 127.0.0.1</code><code>/8</code> <code>scope host lo</code>

<code> </code><code>inet6 ::1</code><code>/128</code> <code>scope host </code>

<code> </code><code>valid_lft forever preferred_lft forever</code>

<code>2: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000</code>

<code> </code><code>link</code><code>/ether</code> <code>00:0c:29:c7:14:97 brd ff:ff:ff:ff:ff:ff</code>

<code> </code><code>inet 192.168.0.101</code><code>/24</code> <code>brd 192.168.0.255 scope global eth1</code>

<code> </code><code>inet 192.168.0.200</code><code>/24</code> <code>scope global eth1 </code><code>#vip已经成功绑定在eth1的网卡上</code>

<code> </code><code>inet6 fe80::20c:29ff:fec7:1497</code><code>/64</code> <code>scope link </code>

4、查看httpd服务是否被heartbeat接管

<code>[root@node1 ~]</code><code># netstat -tnlpu |grep httpd</code>

<code>tcp 0 0 :::80 :::* LISTEN 2140</code><code>/httpd</code>

5、浏览器访问测试

<code>[root@node1 ~]</code><code># sh /usr/share/heartbeat/hb_standby</code>

<code>Going standby [all].</code>

7、查看node1节点的日志信息

<code>[root@node1 ~]</code><code># tail -f /var/log/messages </code>

<code>Dec 25 21:36:11 node1 heartbeat: [1255]: info: node1.</code><code>test</code><code>.com wants to go standby [all]</code>

<code>Dec 25 21:36:11 node1 heartbeat: [1255]: info: standby: node2.</code><code>test</code><code>.com can take our all resources</code>

<code>Dec 25 21:36:11 node1 heartbeat: [1701]: info: give up all HA resources (standby).</code>

<code>Dec 25 21:36:11 node1 ResourceManager(default)[1714]: info: Releasing resource group: node1.</code><code>test</code><code>.com IPaddr::192.168.0.200</code><code>/24/eth1</code> <code>httpd</code>

<code>Dec 25 21:36:11 node1 ResourceManager(default)[1714]: info: Running </code><code>/etc/init</code><code>.d</code><code>/httpd</code> <code>stop</code>

<code>Dec 25 21:36:11 node1 ResourceManager(default)[1714]: info: Running </code><code>/etc/ha</code><code>.d</code><code>/resource</code><code>.d</code><code>/IPaddr</code> <code>192.168.0.200</code><code>/24/eth1</code> <code>stop</code>

<code>Dec 25 21:36:11 node1 IPaddr(IPaddr_192.168.0.200)[1789]: INFO: IP status = ok, IP_CIP=</code>

<code>Dec 25 21:36:11 node1 </code><code>/usr/lib/ocf/resource</code><code>.d</code><code>//heartbeat/IPaddr</code><code>(IPaddr_192.168.0.200)[1763]: INFO: Success</code>

<code>Dec 25 21:36:11 node1 heartbeat: [1701]: info: all HA resource release completed (standby).</code>

<code>Dec 25 21:36:11 node1 heartbeat: [1255]: info: Local standby process completed [all].</code>

<code>Dec 25 21:36:12 node1 heartbeat: [1255]: WARN: 1 lost packet(s) </code><code>for</code> <code>[node2.</code><code>test</code><code>.com] [425:427]</code>

<code>Dec 25 21:36:12 node1 heartbeat: [1255]: info: remote resource transition completed.</code>

<code>Dec 25 21:36:12 node1 heartbeat: [1255]: info: No pkts missing from node2.</code><code>test</code><code>.com!</code>

<code>Dec 25 21:36:12 node1 heartbeat: [1255]: info: Other node completed standby takeover of all resources.</code>

8、注释说明

<code>node1节点由Active切换到Passive后，httpd服务停止，vip有node1转移到node2上</code>

9、查看node2节点

<code> </code><code>link</code><code>/ether</code> <code>00:0c:29:ad:9f:36 brd ff:ff:ff:ff:ff:ff</code>

<code> </code><code>inet 192.168.0.102</code><code>/24</code> <code>brd 192.168.0.255 scope global eth1</code>

<code> </code><code>inet 192.168.0.200</code><code>/24</code> <code>brd 192.168.0.255 scope global secondary eth1</code>

<code> </code><code>inet6 fe80::20c:29ff:fead:9f36</code><code>/64</code> <code>scope link </code>

<code>[root@node2 ~]</code><code># netstat -tnlp |grep httpd</code>

<code>tcp 0 0 :::80 :::* LISTEN 2709</code><code>/httpd</code>

10、vip转移后再次访问

七、Heartbeat的共享存储

1、配置node3的NFS服务

<code>[root@node3 ~]</code><code># yum -y install nfs-utils rpcbind</code>

<code>[root@node3 ~]</code><code># mkdir /web/htdocs -p </code>

<code>[root@node3 ~]</code><code># cat /etc/exports </code>

<code>/web/htdocs</code> <code>192.168.0.0</code><code>/24</code><code>(ro) </code>

<code>[root@node3 ~]</code><code># /etc/init.d/rpcbind start</code>

<code>[root@node3 ~]</code><code># /etc/init.d/nfs start </code>

<code>[root@node3 ~]</code><code># showmount -e '192.168.0.103'</code>

<code>Export list </code><code>for</code> <code>192.168.0.103:</code>

<code>/web/htdocs</code> <code>192.168.0.0</code><code>/24</code>

<code>[root@node3 ~]</code><code># echo "<h1>node3 nfs server</h1>" > /web/htdocs/index.html</code>

2、节点挂载测试

node1

<code>[root@node1 ~]</code><code># mount -t nfs 192.168.0.103:/web/htdocs /mnt/</code>

<code>-rw-r--r-- 1 nobody nobody 26 12月 25 21:53 index.html</code>

<code>[root@node1 ~]</code><code># cat /mnt/index.html </code>

<code><h1>node3 nfs server<</code><code>/h1</code><code>></code>

<code>文件系统 1K-块已用可用已用% 挂载点</code>

<code>/dev/mapper/VolGroup-lv_root</code>

<code>tmpfs 247208 0 247208 0% </code><code>/dev/shm</code>

<code>192.168.0.103:</code><code>/web/htdocs</code>

<code>[root@node1 ~]</code><code># umount /mnt/</code>

node2

<code>[root@node2 ~]</code><code># mount -t nfs 192.168.0.103:/web/htdocs /mnt/</code>

<code>[root@node2 ~]</code><code># cat /mnt/index.html </code>

<code>[root@node2 ~]</code><code># umount /mnt/</code>

3、停止node1和node2节点的heartbeat服务

<code>[root@node1 ~]</code><code># ssh node2 'service heartbeat stop'</code>

<code>Stopping High-Availability services: Done.</code>

<code>[root@node1 ~]</code><code># service heartbeat stop</code>

4、修改haresource配置文件

<code>[root@node1 ~]</code><code># vim /etc/ha.d/haresources </code>

<code>node1.</code><code>test</code><code>.com IPaddr::192.168.0.200</code><code>/24/eth1</code> <code>Filesystem::192.168.0.103:</code><code>/web/htdocs</code><code>::</code><code>/var/www/html</code><code>::nfs httpd</code>

5、拷贝修改后的haresource配置文件到node2

<code>[root@node1 ~]</code><code># scp /etc/ha.d/haresources [email protected]:/etc/ha.d/</code>

6、启动节点的heartbeat服务

<code>[root@node1 ~]</code><code># service heartbeat start</code>

<code>[root@node1 ~]</code><code># ssh node2 "service heartbeat start"</code>

<code>Starting High-Availability services: 2014</code><code>/12/25_22</code><code>:01:40 INFO: Resource is stopped</code>

7、浏览器测试访问

<code>[root@node1 ~]</code><code># netstat -tnlp |grep httpd</code>

<code>tcp 0 0 :::80 :::* LISTEN 3301</code><code>/httpd</code>

<code>[root@node1 ~]</code><code># cat /var/www/html/index.html </code>

9、停止node1节点的heartbeat服务，进行切换，并查看vip信息，再次访问vip地址

八、测试Heartbeat高可用

正常关闭和重启主节点的heartbeat服务或者脚本切换主节点为备用节点

<code>正常关闭Heartbeat服务：</code><code>/etc/init</code><code>.d</code><code>/heartbeat</code> <code>stop && service heartbeat stop</code>

<code>脚本切换主节点为备用节点：sh </code><code>/usr/share/heartbeat/hb_standby</code>

<code>在主节点node1上关闭heartbeat服务执行“service heartbeat stop”，正常关闭主节点的heartbeat服务进程。此时主节点通过“ip addr”命令查看主节点的网卡信息，正常情况下，</code>

<code>应该可以看到主节点已经释放了集群服务的ip(vip)地址，同时释放了挂载磁盘的共享分区，并且httpd服务处于停止状态。</code>

<code>然后登陆备用节点执行“</code><code>ssh</code> <code>node2'”查看备用节点node2相关属性信息，在备用节点node2上用“ip addr”命令查看集群ip(vip)是否已经被接管，同时是否已经挂载上了共享磁盘分区，</code>

<code>并且httpd服务是否已经启动;得出的结论就是备用节点已经接管了vip地址，共享磁盘分区已经被挂载，httpd服务已经启动。</code>

<code>在这个过程中，使用</code><code>ping</code><code>命令对集群服务ip(vip)进行测试，可以看到集群服务ip一直处于可通状态，并没有任何延迟和堵塞现象，也就是说在正常关闭主节点node1上的heartbeat服务</code>

<code>的情况下，主备节点的切换时无缝的，HA对外提供的服务可以不间断运行。</code>

<code>接着，主节点的Heartbeat服务正常启动，那么备用节点的集群服务ip(vip)将被释放，同时卸载挂载的共享磁盘分区和停止httpd服务，反而主节点将再次接管集群服务ip(vip)和</code>

<code>挂载共享磁盘分区，其实备用节点释放资源与主节点绑定资源是同步进行的。因而，这个过程也是一个无缝切换。</code>

<code>但是大家需要注意的是主节点重新上线后，在进行</code><code>ping</code><code>测试的过程中会有一次中断，不过是瞬间的影响不是很大。</code>

到此，heartbeat的web高可用就完成了。后续会继续补充Heartbeat对mysql服务的高可用！

本文转自zys467754239 51CTO博客，原文链接：http://blog.51cto.com/467754239/1596073，如需转载请自行联系原作者

CentOS 6.4 Heartbeat+httpd+nfs实现高可用的web服务器

继续阅读

debian9升级4.9.0内核到4.19.2内核过程

centOS7 配置 vsftpd 虚拟用户及权限Vsftpd配置虚拟用户及权限

linux-svn卸载与安装

vsftp虚拟多用户多权限一键部署脚本

Ubuntu14.04 LTS下安装mongodb

Nginx服务优化（1）——隐藏版本号、修改用户与组、网页缓存时间、日志切割、连接超时一、隐藏版本号二、修改用户与组三、配置Nginx网页缓存时间四、实现Nginx日志分割五、配置Nginx实现连接超时六、补充关于时间日期的命令

httpd服务的部署、启动、配置和简单优化一、部署二、启动三、配置文件

配置网页内容访问

手动安装Intel network I217-LM网卡的Linux驱动

禁止ubuntu系统弹出报错界面

Ubuntu Linux下Apache的配置文件

Bugku-WEB-web33

samba服务器的功能

【Linux】UDP广播报文接收速率问题

Linux设备模型（中）之上层容器

PowerPC平台 Linux移植三