ubuntu 10.04 連接配接IBM FC-SAN 問題

問題描述:

    存儲那邊設定好後,看到的配置設定了779G大小,結果在系統上fdisk -l 看到的是853G ,相差太多,同僚dmesg 裡面還會報i/o錯誤,但是存儲那邊沒有報警

[27059.003909] end_request: I/O error, dev dm-8, sector 0

[27059.003930] end_request: I/O error, dev dm-8, sector 0

[27059.003940] end_request: I/O error, dev dm-8, sector 24

[27059.543520] end_request: I/O error, dev dm-5, sector 0

[27059.543533] end_request: I/O error, dev dm-5, sector 0

[27059.543544] end_request: I/O error, dev dm-5, sector 0

[27059.543556] end_request: I/O error, dev dm-5, sector 0

[27059.543571] end_request: I/O error, dev dm-5, sector 56

[27059.543583] end_request: I/O error, dev dm-5, sector 0

[27059.543593] end_request: I/O error, dev dm-5, sector 0

[27059.543613] end_request: I/O error, dev dm-5, sector 209715072

[27059.543628] end_request: I/O error, dev dm-5, sector 209715184

[27059.543638] end_request: I/O error, dev dm-5, sector 0

[27059.543649] end_request: I/O error, dev dm-5, sector 8

而且系統沒有安裝multipath,fdisk -l隻能看到一塊sdb 但是/dev/下面會有很多其他sde 到sdi,暫時還不知道ubuntu是如何整合的這些盤,不知道是rdac 方式還是其他

解決:

    我就安裝了multipath-tools  ,使用multipath -ll 指令檢視

sdf: checker msg is "directio checker reports path is down"

sdk: checker msg is "directio checker reports path is down"

3600a0b800021d4f100002b2850ff4892dm-6 IBM     ,1722-600      

[size=100G][features=0][hwhandler=0]

\_ round-robin 0 [prio=0][enabled]

 \_ 1:0:2:2 sdf 8:80  [failed][faulty]

 \_ 2:0:2:2 sdk 8:160 [failed][faulty]

sdj: checker msg is "directio checker reports path is down"

sdn: checker msg is "directio checker reports path is down"

3600a0b800021d4f100002b2a50ff48cadm-8 IBM     ,1722-600      

[size=160G][features=0][hwhandler=0]

 \_ 1:0:2:4 sdj 8:144 [failed][faulty]

 \_ 2:0:2:4 sdn 8:208 [failed][faulty]

sde: checker msg is "directio checker reports path is down"

3600a0b800026541800000bca50ee104cdm-2 IBM     ,1815      FASt

[size=777G][features=0][hwhandler=0]

\_ round-robin 0 [prio=1][active]

 \_ 1:0:0:1 sdb 8:16  [active][ready]

 \_ 2:0:1:1 sde 8:64  [active][faulty]

sdl: checker msg is "directio checker reports path is down"

sdo: checker msg is "directio checker reports path is down"

3600a0b800021cf1200004df750ff52f3dm-7 IBM     ,1722-600      

[size=121G][features=0][hwhandler=0]

 \_ 1:0:2:5 sdl 8:176 [failed][faulty]

 \_ 2:0:2:5 sdo 8:224 [failed][faulty]

sdh: checker msg is "directio checker reports path is down"

sdm: checker msg is "directio checker reports path is down"

3600a0b800021cf1200004df650ff52bddm-4 IBM     ,1722-600      

 \_ 1:0:2:3 sdh 8:112 [failed][faulty]

 \_ 2:0:2:3 sdm 8:192 [failed][faulty]

sdc: checker msg is "directio checker reports path is down"

sdg: checker msg is "directio checker reports path is down"

3600a0b800021d4f100002b2550ff485adm-5 IBM     ,1722-600      

 \_ 1:0:2:0 sdc 8:32  [failed][faulty]

 \_ 2:0:2:0 sdg 8:96  [failed][faulty]

sdd: checker msg is "directio checker reports path is down"

sdi: checker msg is "directio checker reports path is down"

3600a0b800021cf1200004df550ff528ddm-3 IBM     ,1722-600      

 \_ 1:0:2:1 sdd 8:48  [failed][faulty]

 \_ 2:0:2:1 sdi 8:128 [failed][faulty]

明顯是有多個存儲共享的不同磁盤,有777G的 DS4800  100G DS4300 可以通過IBM FAStT 和DS對比Machine Type資訊知道的

現在知道了dmesg 裡面的報錯的原因了,系統預設會directio 定時檢查鍊路,預設就是嘗試讀取第一個sector 0的