MooseFS 3.0部署笔记(3)【原创】

本文介绍MooseFS+DRBD+KEEPALIVED实现高可用，以下是部署笔记。

一、DRBD（实现MFSMASTER META_DATA 的同步写）

1. 配置hosts

192.168.3.127 L-AP-3-127

192.168.3.131 L-AP-3-131

2. 下载依赖包flex,并安装

ftp://rpmfind.net/linux/centos/6.8/os/x86_64/Packages/flex-2.5.35-9.el6.x86_64.rpm

rpm -ivh flex-2.5.35-9.el6.x86_64.rpm

3. 下载drbd安装包,并安装

1) 安装内核包

http://oss.linbit.com/drbd/8.4/drbd-8.4.6.tar.gz

tar -xzvf drbd-8.4.6.tar.gz

cd drbd-8.4.6

cd drbd

#因为内核小于2.6.33，所以要装内核包，2.6.33以后版本已包含不需要装

make KDIR=/usr/src/kernels/2.6.32-220.el6.x86_64/

cp drbd.ko /lib/modules/`uname -r`/kernel/lib/

depmod

modprobe drbd

modinfo drbd

2) 安装工具包

下载http://oss.linbit.com/drbd/drbd-utils-8.9.6.tar.gz

tar -xzvf drbd-utils-8.9.6.tar.gz

cd drbd-utils-8.9.6

# --with-pacemaker，启用pacemaker集群支持，会创建ocf格式资源文件

./configure --prefix=/usr/local/drbd --sysconfdir=/etc/ --localstatedir=/var/ --with-pacemaker

make && make install

（漫长的等待）

3） 修改配置

ln -s /usr/local/drbd/sbin/drbdadm /usr/sbin/drbdadm

ln -s /usr/local/drbd/sbin/drbdmeta /usr/sbin/drbdmeta

ln -s /usr/local/drbd/sbin/drbdsetup /usr/sbin/drbdsetup

4） DRBD主配置文件（/etc/drbd.conf）

## global_common.conf文件包含global和common的DRBD全局配置部分；

## *.res文件包含DRBD资源的配置信息。

vi /etc/drbd.d/global_common.conf

global {

usage-count no; # 是否加入DRBD官方统计

# minor-count dialog-refresh disable-ip-verification

# cmd-timeout-short 5; cmd-timeout-medium 121; cmd-timeout-long 600;

}

common {

handlers {

# 定义处理机制程序，/usr/lib/drbd/ 里有大量的程序脚本

# These are EXAMPLE handlers only.

# They may have severe implications,

# like hard resetting the node under certain circumstances.

# Be careful when chosing your poison.

# pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";

# pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";

# local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";

# fence-peer "/usr/lib/drbd/crm-fence-peer.sh";

# split-brain "/usr/lib/drbd/notify-split-brain.sh root";

# out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";

# before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";

# after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;

}

startup {

# 定义启动超时时间等

# wfc-timeout degr-wfc-timeout outdated-wfc-timeout wait-after-sb

}

options {

# cpu-mask on-no-data-accessible

}

disk {

# 磁盘相关公共设置，比如I/O、数据状态

# size on-io-error fencing disk-barrier disk-flushes

# disk-drain md-flushes resync-rate resync-after al-extents

# c-plan-ahead c-delay-target c-fill-target c-max-rate

# c-min-rate disk-timeout

on-io-error detach; # 配置I/O错误处理策略为分离

}

net {

# 设置DRBD同步时使用的验证方式和密码信息。

# protocol timeout max-epoch-size max-buffers unplug-watermark

# connect-int ping-int sndbuf-size rcvbuf-size ko-count

# allow-two-primaries cram-hmac-alg shared-secret after-sb-0pri

# after-sb-1pri after-sb-2pri always-asbp rr-conflict

# ping-timeout data-integrity-alg tcp-cork on-congestion

# congestion-fill congestion-extents csums-alg verify-alg

# use-rle

cram-hmac-alg sha1;

shared-secret "drbd";

}

syncer {

verify-alg sha1;

# 定义网络传输速率，一般传输速度的30%

rate 50M;

}

}

## 创建资源配置文件(/etc/drbd.d/r0.res)

resource r0{

# 公用相同部分可以放到顶部，各节点会自动继承

# 使用drbd的第三种同步协议,表示收到远程主机的写入确认后,则认为写入完成

protocol C;

device /dev/drbd0; # DRBD逻辑设备的路径

# drbd的元数据存放方式，DRBD磁盘内部。

meta-disk internal;

# 每个主机的说明以"on"开头,后面是主机名.在后面的{}中为这个主机的配置.

on L-AP-3-127{

# 此处是节点的主机名‘uname -n’

address 192.168.3.127:7788; # 设置DRBD的监听端口

disk /var/lib/mfs; # 节点物理设备

}

on L-AP-3-131{

address 192.168.3.131:7788;

disk /var/lib/mfs;

}

}

5） 启动

/etc/rc.d/init.d/drbd start

drbdadm create-md r0

这一步出现 open(/dev/mapper/vg_drbd-lv_drbd) failed: Device or resource busy。 原因是文件系统格式不一致，且已挂载。

解决方案：

1. umount /drbd

2. dd if=/dev/zero of=/dev/mapper/vg_drbd-lv_drbd bs=1M count=100

3. 重新执行drbdadm create-md r0 即可

4. 删除自动挂载 vi /etc/fstab 删除 /drbd 这一行

在3.131机器上部署一模一样的一台。

service drbd start 启动服务

service drbd status 查看状态

如果出现 Secondary/Unknown， 关闭防火墙。

drbdadm primary --force r0 (设置主节点，仅执行3.127)

service drbd status 查看状态（可以看到主节点变化）

cat /proc/drbd 可以看到主备同步情况

mkfs -t ext4 /dev/drbd0（以下只在主节点3.127执行）

mkdir /mnt/drbd0

mount /dev/drbd0 /mnt/drbd0

chown -R mfs:mfs /mnt/drbd0/

从节点建立挂载目录

mkdir /mnt/drbd0

chown -R mfs:mfs /mnt/drbd0/

6） 修改mfsmaster配置

vi /etc/mfs/mfsmaster.cfg

修改DATA_PATH=/mnt/drbd0/mfs

mkdir /mnt/drbd0/mfs

chmod -R 777 /mnt/drbd0/mfs

cp /var/lib/mfs/* /mnt/drbd0/mfs/

7） 验证是否同步（因为备节点不能被读，所以只能进行主备切换后查看。）

原主节点 umount /mnt/drbd0

设置为从节点 drbdadm secondary r0

原从节点设置为主节点 drbdadm primary r0

原从节点 mount /dev/drbd0 /mnt/drbd0

查看相关目录数据是否一致。（注意执行顺序）

8） 验证同步后，因为一开始老是不能 umount , 直接reboot之后，发现两台机器脑裂了，谁也不认识谁。这时按以下方法修复：

在备机 3.131 上执行：

drbdadm disconnect r0

drbdadm secondary r0

drbdadm --discard-my-data connect r0

在主机 3.127 上执行：

drbdadm connect r0

在备机 3.131 上执行：

service drbd stop

service drbd start

查看状态：

service drbd status

红色部分可不执行

9） 重启之后恢复master

service drbd start

drbdadm primary --force r0

mount /dev/drbd0 /mnt/drbd0

10） 重启之后恢复slave

service drbd start

service drbd status

错误分析：

命令mount /dev/drbd0 /mnt/drbd0

提示mount: you must specify the filesystem type

方案：需要将drbd起来，然后设为primary 才能mount