drbd的配置

前提：

1）本配置共有兩個測試節點，分别node1.magedu.com和node2.magedu.com，相的IP位址分别為172.16.100.11和172.16.100.12；

2）node1和node2兩個節點上各提供了一個大小相同的分區作為drbd裝置；我們這裡為在兩個節點上均為/dev/sda5，大小為512M；

3）系統為rhel5.4，x86平台；

1、準備工作

兩個節點的主機名稱和對應的IP位址解析服務可以正常工作，且每個節點的主機名稱需要跟"uname -n“指令的結果保持一緻；是以，需要保證兩個節點上的/etc/hosts檔案均為下面的内容：

172.16.100.11 node1.magedu.com node1

172.16.100.12 node2.magedu.com node2

為了使得重新啟動系統後仍能保持如上的主機名稱，還分别需要在各節點執行類似如下的指令：

Node1:

# sed -i 's@\(HOSTNAME=\).*@\1node1.magedu.com@g'

# hostname node1.magedu.com

Node2：

# sed -i 's@\(HOSTNAME=\).*@\1node2.magedu.com@g'

# hostname node2.magedu.com

2、安裝軟體包

drbd共有兩部分組成：核心子產品和使用者空間的管理工具。其中drbd核心子產品代碼已經整合進Linux核心2.6.33以後的版本中，是以，如果您的核心版本高于此版本的話，你隻需要安裝管理工具即可；否則，您需要同時安裝核心子產品和管理工具兩個軟體包，并且此兩者的版本号一定要保持對應。

目前在用的drbd版本主要有8.0、8.2和8.3三個版本，其對應的rpm包的名字分别為drbd, drbd82和drbd83，對應的核心子產品的名字分别為kmod-drbd, kmod-drbd82和kmod-drbd83。各版本的功能和配置等略有差異；我們實驗所用的平台為x86且系統為rhel5.4，是以需要同時安裝核心子產品和管理工具。我們這裡選用最新的8.3的版本(drbd83-8.3.8-1.el5.centos.i386.rpm和kmod-drbd83-8.3.8-1.el5.centos.i686.rpm)，下載下傳位址為：http://mirrors.sohu.com/centos/5.6/extras/i386/RPMS/。

實際使用中，您需要根據自己的系統平台等下載下傳符合您需要的軟體包版本，這裡不提供各版本的下載下傳位址。

下載下傳完成後直接安裝即可：

# yum -y --nogpgcheck localinstall drbd83-8.3.8-1.el5.centos.i386.rpm kmod-drbd83-8.3.8-1.el5.centos.i686.rpm

3、配置drbd

drbd的主配置檔案為/etc/drbd.conf；為了管理的便捷性，目前通常會将些配置檔案分成多個部分，且都儲存至/etc/drbd.d目錄中，主配置檔案中僅使用"include"指令将這些配置檔案片斷整合起來。通常，/etc/drbd.d目錄中的配置檔案為global_common.conf和所有以.res結尾的檔案。其中global_common.conf中主要定義global段和common段，而每一個.res的檔案用于定義一個資源。

在配置檔案中，global段僅能出現一次，且如果所有的配置資訊都儲存至同一個配置檔案中而不分開為多個檔案的話，global段必須位于配置檔案的最開始處。目前global段中可以定義的參數僅有minor-count, dialog-refresh, disable-ip-verification和usage-count。

common段則用于定義被每一個資源預設繼承的參數，可以在資源定義中使用的參數都可以在common段中定義。實際應用中，common段并非必須，但建議将多個資源共享的參數定義為common段中的參數以降低配置檔案的複雜度。

resource段則用于定義drbd資源，每個資源通常定義在一個單獨的位于/etc/drbd.d目錄中的以.res結尾的檔案中。資源在定義時必須為其命名，名字可以由非空白的ASCII字元組成。每一個資源段的定義中至少要包含兩個host子段，以定義此資源關聯至的節點，其它參數均可以從common段或drbd的預設中進行繼承而無須定義。

下面的操作在node1.magedu.com上完成。

1）複制樣例配置檔案為即将使用的配置檔案：

# cp /usr/share/doc/drbd83-8.3.8/drbd.conf  /etc

2）配置/etc/drbd.d/global-common.conf

global {

        usage-count no;

        # minor-count dialog-refresh disable-ip-verification

}

common {

        protocol C;

        handlers {

                pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";

                pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";

                local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";

                # fence-peer "/usr/lib/drbd/crm-fence-peer.sh";

                # split-brain "/usr/lib/drbd/notify-split-brain.sh root";

                # out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";

                # before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";

                # after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;

        }

        startup {

                wfc-timeout 120;

                degr-wfc-timeout 120;

        disk {

                on-io-error detach;

        fencing resource-                        only; 

        net {

        cram-hmac-alg                   cram-hmac-alg    "sha1"; 加密算法

         shared-secret              shared-secret   "mydrbdlab"; 共享密碼

        syncer {

                rate 1000M; 同步速率

3、定義一個資源/etc/drbd.d/web.res，内容如下：

resource web {

  on node1.magedu.com {

    device    /dev/drbd0;

    disk      /dev/sda5;

    address   172.16.100.11:7789;

    meta-disk internal;

  }

  on node2.magedu.com {

    address   172.16.100.12:7789;

實驗用

    disk      /dev/sda6;

    address   172.16.26.27:7789;

    address   172.16.26.28:7789;

~   

以上檔案在兩個節點上必須相同，是以，可以基于ssh将剛才配置的檔案全部同步至另外一個節點。

# scp  /etc/drbd.*  node2:/etc

4、在兩個節點上初始化已定義的資源并啟動服務：

1）初始化資源，在Node1和Node2上分别執行：

# drbdadm create-md web

2）啟動服務，在Node1和Node2上分别執行：

/etc/init.d/drbd start

3）檢視啟動狀态：

# cat /proc/drbd

version: 8.3.8 (api:88/proto:86-94)

GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by [email protected], 2010-06-04 08:04:16

 0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r----

    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:505964

也可以使用drbd-overview指令來檢視：

# drbd-overview

  0:web  Connected Secondary/Secondary Inconsistent/Inconsistent C r----

從上面的資訊中可以看出此時兩個節點均處于Secondary狀态。于是，我們接下來需要将其中一個節點設定為Primary。在要設定為Primary的節點上執行如下指令：

# drbdsetup /dev/drbd0 primary –o

  注： 也可以在要設定為Primary的節點上使用如下指令來設定主節點：

     # drbdadm --overwrite-data-of-peer primary web

而後再次檢視狀态，可以發現資料同步過程已經開始：

  0:web  SyncSource Primary/Secondary UpToDate/Inconsistent C r----

 [============>.......] sync'ed: 66.2% (172140/505964)K delay_probe: 35

等資料同步完成以後再次檢視狀态，可以發現節點已經牌實時狀态，且節點已經有了主次：

  0:web  Connected Primary/Secondary UpToDate/UpToDate C r----

5、建立檔案系統

檔案系統的挂載隻能在Primary節點進行，是以，也隻有在設定了主節點後才能對drbd裝置進行格式化：

# mke2fs -j -L DRBD /dev/drbd0

# mkdir /mnt/drbd

# mount /dev/drbd0 /mnt/drbd

6、切換Primary和Secondary節點

對主Primary/Secondary模型的drbd服務來講，在某個時刻隻能有一個節點為Primary，是以，要切換兩個節點的角色，隻能在先将原有的Primary節點設定為Secondary後，才能原來的Secondary節點設定為Primary:

# cp -r /etc/drbd.* /mnt/drbd 

# umount /mnt/drbd

# drbdadm secondary web

檢視狀态：

  0:web  Connected Secondary/Secondary UpToDate/UpToDate C r----

Node2:

# drbdadm primary web

使用下面的指令檢視在此前在主節點上複制至此裝置的檔案是否存在：

# ls /mnt/drbd