ceph分布式存儲搭建經曆

官方文檔：http://docs.ceph.com/docs/master/start/quick-start-preflight/

漢化版：http://docs.openfans.org/ceph/

ceph中國社群翻譯團隊：http://docs.ceph.org.cn

原理：利用ceph-deploy工具，通過管理節點admin-node，利用ssh通道，以達到控制各分布式節點存儲的共享功能。

前提：admin-node 需提前安裝好ceph-deploy；各分布節點需與admin-node時間同步，配置ssh彼此互信并擁有sudo權限；防火牆什麼的先關掉再說。

注：線上ssh端口一般都會改，而ceph-deploy工具預設是用22端口去連接配接的。于是，怎麼更改ceph連接配接的ssh端口呢。找了篇文章：http://blog.fenghe.org/archives/1695 發現也不對，後來一想：ssh不就是通過本機(ceph-mds)來操作的嗎！！于是直接更改/etc/ssh/ssh_config配置。已然生效。。

主要步驟：

需建立目錄，mkdir myceph  && cd myceph，以下操作均在admin-node操作，我們命名為：ceph-mds，ceph-osd1，ceph-osd2，ceph-client；如在之前已有ceph環境下的目錄操作，可能會影響ceph環境。

ceph目錄下一般有這幾個檔案：

1、start over:

2、start up：

3、ADD/REMOVE OSDS:

應為能看到：

root@ceph-mds:/home/ceph/myceph# ceph status      

    cluster 3734cac3-4553-4c39-89ce-e64accd5a043      

     health HEALTH_WARN      

            clock skew detected on mon.ceph-osd2      

           8 pgs degraded      

           8 pgs stuck degraded      

           72 pgs stuck unclean      

           8 pgs stuck undersized      

           8 pgs undersized      

            recovery1004/1506 objects degraded (66.667%)      

            recovery1/1506 objects misplaced (0.066%)      

            too few PGs per OSD (6 < min 30)      

            Monitor clock skew detected

     monmap e1:2 mons at {ceph-osd1=192.168.2.242:6789/0,ceph-osd2=192.168.2.243:6789/0}      

            election epoch8, quorum 0,1 ceph-osd1,ceph-osd2      

     osdmap e135:24 osds: 24 up, 24 in; 64 remapped pgs      

            flags sortbitwise      

      pgmap v771:72 pgs, 2 pools, 1742 MB data, 502 objects      

           4405 MB used, 89256 GB / 89260 GB avail      

           1004/1506 objects degraded (66.667%)      

           1/1506 objects misplaced (0.066%)      

           64 active+remapped      

           8 active+undersized+degraded

4、驗證指令：

5、client端挂載磁盤

ceph-deploy install ceph-client   ##安裝ceph用戶端

ceph-deploy admin ceph-client  ##把秘鑰及配置檔案拷貝到用戶端

rbs方式：

如果報錯：

檢視日志：

需在mds端更改ceph.conf配置：

然後下發配置及密鑰： ceph-deploy  --overwrite-conf  ceph-osd1 ceph-osd2 ceph-client。

删除rbd鏡像：rbd unmap -p test test-1 ——> rbd -p test rm test-1

注：client端重新開機後如果不及時rbd unmap，關機的時候系統會hung在umount此rbd裝置上。是以需要配置rbdmap：

修改/etc/init.d/rbdmap，将其中的/etc/rbdmap修改為你的rbdmap的實際路徑；然後将挂載資訊寫入/etc/ceph/rbdmap(我的rbdmap路徑)：

因為我禁用了cephx，是以不必配置keyring了。

這樣就可以手動控制、并且開關機可以自動解除安裝rbd塊裝置了。

如何自動挂載rbd塊裝置：寫腳本，開機啟動/etc/rc.local

cephFS檔案系統方式：

如有疑問，歡迎與我聯系。