drbd+keepalived nfs高可用方案实践

安装配置drbd：

准备底层存储设备：

一块硬盘、软raid、LVM逻辑卷、甚至另一个drbd设备（drbd叠加）

准备网络配置：

推荐（不是必须）在专用的、直连的、千兆的网络上运行drbd。如果通过交换机运行drbd，建议设置一个热备的交换机同时the Linux bonding driver (in active-backup mode) is recommended

注意三点：

1) Our two DRBD hosts each have a currently unused network interface, eth1,with IP addresses 10.1.1.31 and 10.1.1.32 assigned to it, respectively. 2) No other services are using TCP ports 7788 through 7799 on eitherhost. 3) The local firewall configuration allows both inbound and outboundTCP connections between the

配置drbd

drbd所有配置均在/etc/drbd.conf，默认的，该配置文件只是一个‘框架’，有如下两行

<code>include"/etc/drbd.d/global_common.conf";</code>

<code>include"/etc/drbd.d/*.res";</code>

/etc/drbd.d/global_common.conf包含drbdglobal和common段的设置，*.res文件每个包含一个resource段的配置。

注意：确保每个节点上drbd的配置文件保持一致

实验环境配置文件

初始化resource

创建设备元数据，该步骤只在设备初始化时执行一次，在两台server分别执行

<code>[root@master~]#drbdadm create-md r0</code>(resource名称)

一台报错：drbdadm create-md r0: exited with code 40

解决方法：<code>dd if=/dev/zero of=/dev/sdb1 bs=1M count=10</code>（count数量不限，主要是为了清除/dev/sdb1上的分区信息）。成功截图如下

启动drbd

<code>[root@master~]#/etc/init.d/drbd start</code>

刚启动时，两台机器上drbd状态均为secondary

在drbd主上执行<code>drbdsetup/dev/drbd0 primary -o</code>，将drbd状态改为primary（无此步，会导致格式化/dev/drbd0时报错）。执行过此命令以后，可以通过<code>drbdadmprimary/secondary r0</code>来切换主被动状态

挂载drbd设备

现在可以把主机上的DRBD设备挂载到一个目录上进行使用.备机的DRBD设备无法被挂载,因为它是用来接收主机数据的,由DRBD负责操作.

在drbd primary节点（否则格式化会报错Wrong medium type while trying to determine filesystem size）

<code>[root@master ~]#mkfs.ext4/dev/drbd1</code>

<code>[root@master~]#mount /dev/drbd1 /test</code>

状态查看

cs: connect state ro:表示角色信息 ds: 磁盘状态信息Inconsistent/UpToDatens/nr:网络发送/接收的数据包信息dw/dr:设备读写信息

“/proc/drbd”中显示了drbd当前的状态。第一行的Secondary/Secondary 表示两台主机的状态,都是”备机”状态.ds是磁盘状态,都是”不一致”状态. 这是由于DRBD无法判断哪一方为主机,以哪一方的磁盘数据作为标准数据.所以,我们需要初始化一个主机。在master server执行：

再看两台的/proc/drbd

倒数第二行可以看到正在从主向备同步数据

日志变化(/var/logs/message)

主机：

备机：

DRBD的主备机切换

有时,你需要将DRBD的主备机互换一下.可以执行下面的操作:

在主机上,先要卸载掉DRBD设备.

<code>[root@master /]# umount /mnt/drbd1</code>

将主机降级为”备机”

现在,两台主机都是”备机”

在备机slave上,将它升级为”主机”

现在,slave成为了”主机”.你可以把它的/dev/drbd1进行挂载和使用了.同样,数据会被同步到master的/dev/drbd0上

###三、配合keepalived实现自动fail-over

Keepalived配置文件(主机)：

备机

自动切换测试：

关闭主上keepalived，会按照预期流程走。关闭主上nfs----卸载资源设备----主drbd降级----备drdb升级----备挂载资源设备----备启动nfs服务。但是在客户端看来，切换时间过长，切换后打开文件约有1.5分的延时，如图

连续写测试：

在nfs客户段执行<code>for i in {1..500};do dd if=/dev/zero of=/ljk/$i.filebs=1M count=1;done</code>

（/ljk为客户端挂载点，用dd向挂载点内写入500个1M的文件）。执行过程中在主关闭keepalived，验证写入过程是否会中断

经验证，写入过程没有中断，但中会出现一段时间的延时（同样比正常慢了1.5分左右）

客户端从其他目录向挂载点拷贝文件,中途开启原主的keepalived（vip自动切回主，产生一次切换动作）

正常拷贝：time cp -av/data0/songjian/dhmh/* /ljk/用时1m57s

有切换动作拷贝：在下图所示文件处产生停顿，最终用时3m43

检查切换过程产生中断可能受影响的文件和原文件是否一致，经md5sum验证，切换过程中受影响复制产生延迟的文件内容未受影响

经验证，拷贝过程不中断，并且文件状态亦为受到切换动作的影响

连续读测试

客户端挂载点向其他目录拷贝文件，如下图文件出产生延时

Md5sum验证文件一致性ok，如下图

疑问：关于切换动作导致的延迟时间问题，是哪里导致了切换过程中出现延时；是否文件量越大延迟时间越长；在nfs客户端测试

在不同数量、大小的文件中打开统一文件测试延时

关于延时最终结论：nfs服务从主切换到备，从系统日志

看出相当于一次nfs服务重启操作，有一个90s的平滑重启过程，延时时间与文件数量及大小无关。

也再一次验证了drbd提供的数据一致性功能（包括文件的打开和修改状态等），在客户端看来，真个切换过程就是‘一次nfs重启’（主nfs停，备nfs启）。

<a href="http://note.youdao.com/noteshare?id=0062e87b3353b4f294e384373d941095">附件：keepalived状态改变时所触动的脚本</a>

     本文转自kai404 51CTO博客，原文链接：http://blog.51cto.com/kaifly/2052244，如需转载请自行联系原作者