iscsi 配置笔记

DAS  直连存储

NAS    nfs  samba  

SAN  存储区域网络 

IP SAN

node1                 node2

     \                       /

      \                     /

            交换机

       /                    \

     /                       \

  192.168.10.2     192.168.10.3

#配置yum

Server VT Cluster ClusterStorage

存储节点配置：

节点3安装一个软件：

yum install scsi-target-utils -y   

编辑配置文件

vim /etc/tgt/targets.conf

通讯设备

default-driver iscsi    

共享设备

iqn iscsi合格名称

<target iqn.2012-07.com.zhaoyun:node3.target1>

     backing-store  /dev/sda    共享的设备名

     write-cache   off                 关闭写缓存，如果不关，重启会出错

     vendor_id      node3            可以理解为，主机地址

     product_id    storage1          产品型号

     initiator-address  192.168.10.1     允许访问的IP地址，访问控制

     initiator-address  192.168.10.2    

</target>

service tgtd start   启动服务

tgt-admin    --show 

节点4 

同节点3差不多

前端节点配置,客户端

需要支持  

yum install iscsi-initiator-utils -y

service iscsi start 

发现共享资源信息

iscsiadm -m discovery  -t sendtargets -p 192.168.10.3:3260   

iscsiadm -m discovery  -t sendtargets -p 192.168.10.4:3260

添加资源

iscsiadm -m node -T iqn.信息  -l 登陆  | -u 登出

udev  当系统插入硬件时， kernel先加载设备驱动去识别，

挂载规则，写udev规则

udevinfo -a -p /sys/block/sdb              -a 所有信息  -p 路径

 从以上值提取信息   ==是匹配  +=是添加

vim /etc/udev/rules.d/80-scsi.rules

第一块

SUBSYSTEM=="block" ,SYSFS{size}=="4096000",SYSSF{vendor}=="node3"  ,SYSSF{model}=="storage1"，SYMLINK+="iscsi/node3"  

第二块

SUBSYSTEM=="block" ,SYSFS{size}=="4096000",SYSSF{vendor}=="node4"  ,SYSSF{model}=="storage1"，SYMLINK+="iscsi/node4"  

vgchange -ay vg001

gfs   全局文件系统  

如果前端几点使用GFS，前边节点必须是一个集群

安装集群

node1 node2都需要配置 

yum install system-config-cluster -y

yum install cman -y

service cman start

clustat 

gfs-utils 提供格式化的命令，第二个提供了让内核支持gfs。

yum install gfs-utils kmod-gfs  

modprobe gfs2

lsmod |grep gfs

-t  集群名:锁表名            -j 指定日志的格式

格式化gfs文件系统

gfs_mkfs  -t  iscsi_cluster:tables -p lock_dlm -j 2 /dev/vg001/lv0

挂载gfs文件系统

mount -t gfs2 -o lockproto=lock_dlm /dev/vg001/lv001 /mnt

扩展iscsi空间，扩展存储节点

新加新的存储节点

yum install iscsi-target-utils -y

<target iqn.2012-07.com.zhaoyun:node5.target1>

   backing-store /dev/sdb

   write-cache off

   vendor_id node5

   product_id storage1

  initiator-address 192.168.10.1

  initiator-address 192.168.10.2

启动服务

service tgtd start

tgt-admin --show

#####

node1  查看配置

iscsiadm -m discovery -t sendtargets -p 192.168.10.5:3260

iscsiadm -m node -T iqn. -l   登陆

fdisk -l 发现新设备

vi /etc/udev/80-iscsi.rules

添加规则

start_udev 重启udev

pvcreate /dev/iscsi/node5

vgextend vg001 /dev/iscsi/node5 

lvextend -l +900 /dev/vg001/lv001

gfs_grow -v /iscsi/

df -h   磁盘空间扩大

node2通node1一样

iscsiadm -m node -T iqn. -l 

不停业务更新tgt配置文件

tgt-admin --update --force  读取配置文件内容

添加节点node6 ,web节点

cman_tool update /etc/cluster/cluster.conf

编辑配置文件、、

pvscan

lvdisplay

yum install gfs2_utils kmod-gfs -y

modeprobe gfs2

mount -t gfs -o lockproto=lock_dlm /dev/vg001/lv001 /iscsi

报日志少，挂载失败

gfs_tool  journals /iscsi

gfs2_jadd -j 1 /iscsi 

开机自动挂载

vim /etc/fstab

/dev/vg001/lv001 /iscsi gfs2  lockproto=lock_dlm 0 0

yum install lvm2-cluster

lvmconf --enable-cluster   集群虚拟逻辑卷组

chkconfig clvmd on

本文转自zhaoyun00 51CTO博客，原文链接:http://blog.51cto.com/zhaoyun/937034