osd 故障測試 1. 建立的 volumes 是否可以導出資料 2. vm 進行資料寫入時候, 是否會對 mon 節點保持長連接配接, 是否會對 ceph osd 節點保持長連接配接 3. 當 vm 進行資料寫入時候, 斷開一個 mon 節點, 是否會對資料寫入造成影響 4. 當 vm 進行資料寫入時候, 斷開一個 osd 節點, 是否會對資料寫入造成影響 5. 新增 osd 節點進行擴容 6. osd 災難性破壞與恢複 7. 停電故障模拟

查詢目前池

查詢 volumes 池中的卷

導出卷

導出的卷隻能夠用于 ceph 導出, 而不可以令 linux 直接執行讀寫

<code>經測試, 當 vm 雲盤後, 對應實體機即會産生一常連接配接到  mon 節點,  隻有在 vm 産生資料寫時候, 才會與 osd 節點産生對應的 tcp 連接配接</code>

<code>mon 節點的常連接配接并不會全部都集中到其中的一台 mon 節點中, 常連接配接會比較平均地分布到各個 mon 節點中</code>

參考生産環境上的 osd 連接配接

目前測試 compute 192.168.209.106 mon 192.168.48.144,

192.168.48.146, 192.168.48.148

mon 程序不會自動恢複,  需要手動對 mon 進行啟動

重新開機啟動了 mon 服務後, 恢複正常

在進行資料複制過程中,

把其中一台的 osd 程序全部 kill 掉

檢查

ceph 叢集, 發現發生故障

重新啟動 osd, 發現有資料恢複現象

恢複後, 發現, 資料正常了

重新開機一下故障的 mon 服務

第二次測試

資料複制正常

對其中一台電腦中所有的 osd 執行 kill 操作

查詢發現, osd 出現了故障, gp 也出現非正常現象

在資料複制完成後, 重新開機啟動所有 osd

再次查詢,  資料自動恢複中

再查詢

最終, 恢複完成

目前叢集磁盤狀态 ( tt-ceph-048144 ~ tt-ceph-048149)

新加入節點, 執行下面操作

參考格式化腳本

參考建立 osd 腳本

參考磁盤挂載情況

參考 osd tree

3 初始化 osd

參考 初始化腳本

4 授權 osd

參考授權腳本

5. 修改 crush map

參考修改後的 osd tree

6. 啟動 osd

在 osd 啟動之後,  ceph 叢集會自動執行資料遷移及資料平衡

再參考

再次參考

約莫幾分鐘後, 資料同步完成

參考之前容量

參考擴容後容量

參考新機器的磁盤容量

參考其他機器磁盤容量

目标, 破壞一個 osd 對應的所有資料, 嘗試恢複叢集完整性

目前的 osd 環境正常,

破壞 osd 操作

觀察目前 osd 環境,  發現已經遭到破壞

恢複 osd 過程

初始化磁盤

初始化 osd

授權會在初始化時候自動完成 檢查授權 key 是否正确

檢查  osd 初始化後的 keyring

注意:   加入 key 不對, 則需要手動修改, 否則會遇到下面的報錯

啟動 osd

參考

ceph 叢集監控

osd 啟動後, 資料自動執行恢複

資料很快就恢複完成

在叢集環境正常狀态, 為兩個節點作停電處理

停電時, 涉及 1 個 mon 節點,  11 個 osd 節點

參見停電後的叢集狀态

重新啟動主機,  并重新啟動 mon ,  osd 服務

再次參考 ceph 叢集狀态

故障自動修複, 資料複制沒有被中斷

參考停電期間的狀态  (關閉 1 mon 節點,  16 osd 節點)

重新啟動三個節點,  啟動 mon,  osd 服務

參考叢集狀态

叢集會被自動修複成功

在所有 ceph 節點關閉後,  重新開機啟動主機, 分别啟動 mon osd 服務後,  叢集會自動恢複正常,  客戶可繼續通路,   讀寫雲盤