天天看點
傳回

RHCS+iscsi+叢集邏輯卷 配置共享儲存

RHCS+iscsi+叢集邏輯卷 配置共享儲存

服務對象為httpd

rhel 5.8

4台機器

192.168.1.100 檔案系統服務端

三台高可用用戶端

192.168.1.11

192.168.1.22

192.168.1.33

配置前準備：所有機器

  同步時間

  hosts檔案保持一緻

  可配置雙機互信

     
  1.  # Do not remove the following line, or various programs         
    2.       
  2.  # that require network functionality will fail.         
    3.       
  3.  127.0.0.1  localhost.localdomain localhost         
    4.       
  4.  ::1  localhost6.localdomain6 localhost6         
    5.       
  5.  192.168.1.100 target.kaka.cn target         
    6.       
  6.  192.168.1.11  k1.kaka.cn k1         
    7.       
  7.  192.168.1.22  k2.kaka.cn k2         
    8.       
  8.  192.168.1.33  k3.kaka.cn k3         
    9.

三台節點上安裝httpd

簡單安裝即可 yum安裝

安裝完畢測試一下 

沒有問題關閉服務 

service httpd stop

并且關閉開機自動啟動

chkconfig httpd off

在三個節點上安裝rhcs需要的軟體

yum install cman rgmanager gfs2-utils（gfs2軟體包）

     
  1.  有一些依賴的包         
    2.       
  2.  Running Transaction         
    3.       
  3.    Installing     : python-pycurl                                                                        
    4.       
  4.    Installing     : openais                                                                                             
    5.       
  5.    Installing     : perl-XML-LibXML-Common                                                               
    6.       
  6.    Installing     : gfs2-utils                                                                                   
    7.       
  7.    Installing     : perl-XML-NamespaceSupport                                                      
    8.       
  8.    Installing     : perl-XML-SAX                                                                 
    9.       
  9.    Installing     : python-suds                                                                      
    10.       
  10.    Installing     : perl-Net-Telnet                                                                               
    11.       
  11.    Installing     : pexpect                                                                              
    12.       
  12.    Installing     : perl-XML-LibXML                                                                                 
    13.       
  13.    Installing     : cman                                                                                     
    14.       
  14.    Installing     : rgmanager         
    15.

安裝system-config-cluster 包

圖形化配置高可用叢集工具

三個節點上安裝在一台機器即可

我安裝在192.168.1.11這台節點上

使用system-config-cluster配置一下

  為叢集設定一個名字            web_cluster

  配置一個fence裝置使用手動fence裝置名字為  webfence

  将3個節點加入進來

  添加一個故障轉移域

  添加兩個資源

      VIP：192.168.1.254

      http：

  将兩個資源添加服務中

我的上一篇部落格有詳細一點的操作

位址 http://vincekey.blog.51cto.com/815438/1074454

service cman start

service rgmanager start

啟動服務看一下

用clustat指令   檢視一下節點狀态

     
  1.  [root@k3 cluster]# clustat         
    2.       
  2.  Cluster Status for web_cluster @ Tue Nov 27 14:58:48 2012        
    3.       
  3.  Member Status: Quorate         
    4.           
  4.   Member Name                                                 ID   Status         
    5.       
  5.   ------ ----                                                 ---- ------         
    6.       
  6.   k1.kaka.cn                                                      1 Online, rgmanager         
    7.       
  7.   k2.kaka.cn                                                      2 Online, rgmanager         
    8.       
  8.   k3.kaka.cn                                                      3 Online, Local, rgmanager         
    9.           
  9.   Service Name                                       Owner (Last)                                       State                  
    10.       
  10.   ------- ----                                       ----- ------                                       -----                  
    11.       
  11.   service:webserver                                  k1.kaka.cn                                         started            
    12.

 =================================================================== 

192.168.1.100上安裝 scsi-target-utils 包

yum -y install scsi-target-utils

在這台機器上我已經添加了一塊50G的磁盤

就用這塊盤當做共享存儲

Disk /dev/sdb: 53.6 GB, 53687091200 bytes

255 heads, 63 sectors/track, 6527 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

     
  1.  [root@target /]# cd /etc/tgt/       配置檔案目錄         
    2.       
  2.  [root@target tgt]# ls                                
    3.       
  3.  targets.conf                        配置檔案         
    4.           
  4.  先将配置檔案備份一份         
    5.       
  5.  cp targets.conf targets.conf.bak         
    6.       
  6.  vim targets.conf         
    7.       
  7.  開始配置  在檔案中加入幾行         
    8.               
  8.      <target iqn.2012-12.cn.kaka:target-sdb>          
    9.       
  9.               #direct-store /dev/sdb                 ##直接存儲，通常指一個磁盤       
    10.       
  10.               initiator-address 192.168.0.0/24       ##指定intiaor隻能是這個位址範圍          
    11.       
  11.               backing-store /dev/sdb                 ##後備存儲，一般指一個分區，或lvm裝置          
    12.       
  12.               #incominguser hadoop redhat        ##定義基于賬戶認證Initiator,後面的是賬号與密碼          
    13.       
  13.               #outgoinguser userA secretpassA    ##Initiator也可以驗證target，這個target的賬号密碼          
    14.       
  14.       </target>         
    15.           
  15.  target 命名格式  iqn-name: iqn.yyyy-mm.<域名的反寫>後面随意           
    16.       
  16.  這台機器的主機名是   target.kaka.cn  改成  cn.kaka就好了後面的就無所謂了        
    17.      
    
     
  1.  用下邊指令檢視一下         
    2.       
  2.  [root@target tgt]# tgtadm --lld iscsi --op show --mode target          
    3.       
  3.  Target 1: iqn.2012-12.cn.kaka:target-sdb         
    4.       
  4.      System information:         
    5.       
  5.          Driver: iscsi         
    6.       
  6.          State: ready         
    7.       
  7.      I_T nexus information:         
    8.       
  8.      LUN information:         
    9.       
  9.          LUN: 0        
    10.       
  10.              Type: controller         
    11.       
  11.              SCSI ID: IET     00010000        
    12.       
  12.              SCSI SN: beaf10         
    13.       
  13.              Size: 0 MB, Block size: 1        
    14.       
  14.              Online: Yes         
    15.       
  15.              Removable media: No         
    16.       
  16.              Readonly: No         
    17.       
  17.              Backing store type: null         
    18.       
  18.              Backing store path: None        
    19.       
  19.              Backing store flags:          
    20.       
  20.          LUN: 1        
    21.       
  21.              Type: disk         
    22.       
  22.              SCSI ID: IET     00010001        
    23.       
  23.              SCSI SN: beaf11         
    24.       
  24.              Size: 53687 MB, Block size: 512        
    25.       
  25.              Online: Yes         
    26.       
  26.              Removable media: No         
    27.       
  27.              Readonly: No         
    28.       
  28.              Backing store type: rdwr         
    29.       
  29.              Backing store path: /dev/sdb         
    30.       
  30.              Backing store flags:          
    31.       
  31.      Account information:         
    32.       
  32.      ACL information:         
    33.       
  33.          192.168.0.0/24        
    34.           
  34.  LUN:1就是我們建立的         
    35.       
  35.  正常沒問題   關閉服務關閉開機自動啟動       
    36.       
  36.  service tgtd stop       
    37.       
  37.  chkconfig tgtd off        
    38.

在k1,k2,k3上安裝iscsi-initiator-utils 用戶端工具   好像已經安裝過了

service iscsi start  啟動服務

連接配接伺服器端target指令

[root@k3 cluster]# iscsiadm -m discovery -t sendtargets -p 192.168.1.100

192.168.1.100:3260,1 iqn.2012-12.cn.kaka:target-sdb

     
  1.  登入共享磁盤指令         
    2.       
  2.  iscsiadm -m node -T iqn.2012-12.cn.kaka:target-sdb -p 192.168.1.100 -l          
    3.       
  3.  -m              指定模式 man 一下          
    4.       
  4.  -t sendtargets  在discovery模式下使用          
    5.       
  5.  -p portal       指定target的IP與端口，如果是預設端口3260可省略          
    6.       
  6.  -l login        登入          
    7.       
  7.  -u logout       登出          
    8.      
    
     
  1.  [root@k1 iscsi]# iscsiadm -m node -T iqn.2012-12.cn.kaka:target-sdb -p 192.168.1.100 -l          
    2.       
  2.  [root@k1 iscsi]# fdisk -l         
    3.       
  3.  Disk /dev/sda: 214.7 GB, 214748364800 bytes         
    4.       
  4.  255 heads, 63 sectors/track, 26108 cylinders         
    5.       
  5.  Units = cylinders of 16065 * 512 = 8225280 bytes         
    6.           
  6.     Device Boot      Start         End      Blocks   Id  System         
    7.       
  7.  /dev/sda1   *           1          13      104391   83  Linux         
    8.       
  8.  /dev/sda2              14       12761   102398310   83  Linux         
    9.       
  9.  /dev/sda3           12762       16585    30716280   83  Linux         
    10.       
  10.  /dev/sda4           16586       26108    76493497+   5  Extended         
    11.       
  11.  /dev/sda5           16586       16967     3068383+  82  Linux swap / Solaris         
    12.           
  12.  Disk /dev/sdb: 53.6 GB, 53687091200 bytes         
    13.       
  13.  64 heads, 32 sectors/track, 51200 cylinders         
    14.       
  14.  Units = cylinders of 2048 * 512 = 1048576 bytes         
    15.           
  15.  在k1節點上看到有一塊50G的磁盤         
    16.       
  16.  測試成功關閉服務禁止開機自動啟動         
    17.       
  17.  service iscsi start  chkconfig iscsi off         
    18.

安裝lvm2-cluster，讓gfs2支援卷組

輸入下面一行指令

lvmconf --enable-cluster   将鎖機制改為叢集邏輯卷鎖

service clvmd start     開啟服務

開始建立邏輯卷 基本和正常建立邏輯卷一樣

[root@k1 ~]# pvcreate /dev/sdb              建立實體卷

[root@k1 ~]# vgcreate lvmvg /dev/sdb    建立卷組

[root@k1 ~]# lvcreate -L 30G -n lvmlv lvmvg 建立邏輯卷

我建立了一個30G的邏輯卷

mkfs.gfs2 -p lock_dlm -t web_cluster:lvmss -j 3 /dev/myvg/mydata

格式化邏輯卷為叢集邏輯卷格式并制定3個日志檔案 因為有三個節點

web_cluster是叢集服務名

lvmss随意起的 隻要是一個唯一的名字就可以

     
  1.  結果如下：         
    2.       
  2.  [root@k1 ~]# mkfs.gfs2 -p lock_dlm -t web_cluster:lvmss -j 3 /dev/lvmvg/lvmlv          
    3.       
  3.  This will destroy any data on /dev/lvmvg/lvmlv.         
    4.           
  4.  Are you sure you want to proceed? [y/n] y         
    5.           
  5.  Device:                      /dev/lvmvg/lvmlv         
    6.       
  6.  Blocksize:                   4096        
    7.       
  7.  Device Size                  30.00 GB (7864320 blocks)         
    8.       
  8.  Filesystem Size:             30.00 GB (7864318 blocks)         
    9.       
  9.  Journals:                    3        
    10.       
  10.  Resource Groups:             120        
    11.       
  11.  Locking Protocol:            "lock_dlm"        
    12.       
  12.  Lock Table:                  "web_cluster:lvmss"        
    13.       
  13.  UUID:                        69396B42-A43F-652F-1077-88D10B3036D1        
    14.

然後在各節點挂載此卷 因為之前建立的高可用服務是http服務

是以挂載目錄挂載到網頁的預設位置

mount /dev/lvmvg/lvmlv /var/www/html/

裡面建立個檔案

echo "GFS lvm" > /var/www/html/index.html

一個節點上修改此檔案 其他節點就不能修改了

檢視一下網頁

RHCS+iscsi+叢集邏輯卷 配置共享儲存
iSCSI RHCS 叢集邏輯卷 配置共享儲存
上一篇: RHCS建立高可用叢集iscsi存儲
下一篇: RHCS叢集之iSCSI+gfs2+clvm的配置

繼續閱讀