Kubernetes中用Helm安裝Ceph存儲服務

注意：

• 本文僅供參考。在Kubernetes中建議使用Rook項目，更為友善、相容性更好。
  • 在Kubernetes中使用Ceph已經有專門的項目 rook（ https://rook.io ）。
  • Rook-Kubernetes雲原生存儲系統， https://my.oschina.net/u/2306127/blog/1819630
  • Rook定位為Cloud Native的存 儲系統，支援CSI接口，使用Ceph作為基礎實作。
• 了解Ceph概念和使用方法，參見Ceph的官方文檔， http://docs.ceph.org.cn/ 。

本文翻譯自Ceph

官方文檔

，括号内的内容為注釋。

安裝

ceph-helm

項目可讓你在Kubernetes 環境以托管方式部署Ceph . 本文檔假定Kubernetes 環境已經可用。

目前的限制

• Public網絡和Cluster網絡必須是同一個網絡
• 如果 storage class 使用者辨別不是admin, 則必須在Ceph叢集中手動建立使用者并在Kubernetes中建立其secret
• ceph-mgr隻能運作1個replica

安裝并使用Helm

可以按照此說明

instructions

安裝Helm。

Helm通過從本地讀取Kubernetes配置檔案來查找Kubernetes叢集; 確定檔案已下載下傳和且helm用戶端可以通路。

Kubernetes群集必須配置并運作Tiller伺服器，并且須将本地Helm用戶端網絡可達。檢視

init

的Helm文檔擷取幫助。要在本地運作Tiller并将Helm連接配接到它，請運作如下指令（此指令會在Kubernetes叢集部署一個tiller執行個體）：

ceph-helm項目預設使用本地的Helm repo來存儲charts。要啟動本地Helm repo伺服器，請運作：

添加Ceph-Helm charts到本地repo

$ git clone https://github.com/ceph/ceph-helm
$ cd ceph-helm/ceph
$ make           

配置Ceph叢集

建立一個包含Ceph配置的ceph-overrides.yaml檔案。這個檔案可能存在于任何地方，本文檔預設此檔案在使用者的home目錄中。

注意 如果未設定日志（journal）裝置，它将與device裝置同位置。另ceph-helm/ceph/ceph/values.yaml檔案包含所有可配置的選項。

建立Ceph 叢集的namespace

預設情況下，ceph-helm元件在Kubernetes的ceph namespace中運作。如果要自定義，請自定義namespace的名稱，預設namespace請運作：

配置RBAC權限

Kubernetes> = v1.6使RBAC成為預設的admission controller。ceph-helm要為每個元件提供RBAC角色和權限：

rbac.yaml檔案假定Ceph叢集将部署在ceph命名空間中。

給Kubelet節點打标簽

需要設定以下标簽才能部署Ceph叢集：

ceph-osd-device-标簽是基于我們的ceph-overrides.yaml中定義的osd_devices名稱值建立的。從我們下面的例子中，我們将得到以下兩個标簽：ceph-osd-device-dev-sdb和ceph-osd-device-dev-sdc。

每個 Ceph Monitor節點:

每個 OSD node節點:

Ceph 部署

運作helm install指令來部署Ceph：

helm install的輸出顯示了将要部署的不同類型的資源。

将使用ceph-rbd-provisioner Pod建立ceph.com/rbd類型的名為ceph-rbd的StorageClass。這允許建立PVC時自動提供RBD。第一次挂載時，RBD裝置将被格式化（format）。所有RBD裝置都将使用ext4檔案系統。ceph.com/rbd不支援fsType選項。預設情況下，RBD将使用鏡像格式2和鏡像分層特性。可以在values檔案中覆寫以下storageclass的預設值：

使用下面的指令檢查所有Pod是否正常運作。這可能需要幾分鐘時間：

注意 因為我們沒有用ceph-rgw = enabled或ceph-mds = enabled 給節點打标簽（ceph對象存儲特性需要ceph-rgw，cephfs特性需要ceph-mds），是以MDS和RGW Pod都處于pending狀态，一旦其他Pod都在運作狀态，請用如下指令從某個MON節點檢查Ceph的叢集狀态：

配置一個POD以便從Ceph申請使用一個持久卷

為〜/ ceph-overwrite.yaml中定義的k8s使用者建立一個密鑰環，并将其轉換為base64：

編輯ceph namespace中存在的使用者secret：

将base64值複制到key位置的值并儲存：:

我們建立一個在default namespace中使用RBD的Pod。将使用者secret從ceph namespace複制到default namespace：

建立并初始化RBD池：

重要 重要的 Kubernetes使用RBD核心子產品将RBD映射到主機。Luminous需要CRUSH_TUNABLES 5（Jewel）。這些可調參數的最小核心版本是4.5。如果您的核心不支援這些可調參數，請運作ceph osd crush tunables hammer。

重要 由于RBD映射到主機系統上。主機需要能夠解析由kube-dns服務管理的ceph-mon.ceph.svc.cluster.local名稱。要獲得kube-dns服務的IP位址，運作kubectl -n kube-system get svc/kube-dns。

建立一個PVC：

檢查叢集上是否已建立RBD：

建立一個使用此PVC的Pod：

檢查Pod：

日志

可以通過kubectl logs [-f]指令通路OSD和Monitor日志。Monitors有多個日志記錄流，每個流都可以從ceph-mon Pod中的容器通路。

在ceph-mon Pod中有3個容器運作：ceph-mon，相當于實體機上的ceph-mon.hostname.log，cluster-audit-log-tailer相當于實體機上的ceph.audit.log，cluster-log-tailer相當于實體機上的ceph.log或ceph -w。每個容器都可以通過–container或-c選項通路。例如，要通路cluster-tail-log，可以運作：

本文轉自開源中國-

Kubernetes中用Helm安裝Ceph存儲服務