@TOC
CSI簡介
容器存儲接口（Container Storage Interface），簡稱 CSI，CSI 試圖建立一個行業标準接口的規範，借助 CSI 容器編排系統（CO）可以将任意存儲系統暴露給自己的容器工作負載。
csi 卷類型是一種 out-tree（即跟其它存儲插件在同一個代碼路徑下，随 Kubernetes 的代碼同時編譯的） 的 CSI 卷插件，用于 Pod 與在同一節點上運作的外部 CSI 卷驅動程式互動。部署 CSI 相容卷驅動後，使用者可以使用 csi 作為卷類型來挂載驅動提供的存儲。
CSI 持久化卷支援是在 Kubernetes v1.9 中引入的，作為一個 alpha 特性，必須由叢集管理者明确啟用。換句話說，叢集管理者需要在 apiserver、controller-manager 和 kubelet 元件的 “–feature-gates =” 标志中加上 “CSIPersistentVolume = true”。
CSI 持久化卷具有以下字段可供使用者指定：
driver：一個字元串值，指定要使用的卷驅動程式的名稱。必須少于 63 個字元，并以一個字元開頭。驅動程式名稱可以包含 “。”、“ - ”、“_” 或數字。
volumeHandle：一個字元串值，唯一辨別從 CSI 卷插件的 CreateVolume 調用傳回的卷名。随後在卷驅動程式的所有後續調用中使用卷句柄來引用該卷。
readOnly：一個可選的布爾值，訓示卷是否被釋出為隻讀。預設是 false。
安裝github位址
使用說明
下面将介紹如何使用 CSI。
動态配置
可以通過為 CSI 建立插件 StorageClass 來支援動态配置的 CSI Storage 插件啟用自動建立/删除 。
例如，以下 StorageClass 允許通過名為 com.example.team/csi-driver 的 CSI Volume Plugin 動态建立 “fast-storage” Volume。
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: fast-storage
provisioner: com.example.team/csi-driver
parameters:
type: pd-ssd
要觸發動态配置，請建立一個 PersistentVolumeClaim 對象。例如，下面的 PersistentVolumeClaim 可以使用上面的 StorageClass 觸發動态配置。
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: my-request-for-storage
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 5Gi
storageClassName: fast-storage
當動态建立 Volume 時，通過 CreateVolume 調用，将參數 type：pd-ssd 傳遞給 CSI 插件 com.example.team/csi-driver 。作為響應，外部 Volume 插件會建立一個新 Volume，然後自動建立一個 PersistentVolume 對象來對應前面的 PVC 。然後，Kubernetes 會将新的 PersistentVolume 對象綁定到 PersistentVolumeClaim，使其可以使用。
如果 fast-storage StorageClass 被标記為預設值，則不需要在 PersistentVolumeClaim 中包含 StorageClassName，它将被預設使用。
預配置 Volume
您可以通過手動建立一個 PersistentVolume 對象來展示現有 Volumes，進而在 Kubernetes 中暴露預先存在的 Volume。例如，暴露屬于 com.example.team/csi-driver 這個 CSI 插件的 existingVolumeName Volume：
apiVersion: v1
kind: PersistentVolume
metadata:
name: my-manually-created-pv
spec:
capacity:
storage: 5Gi
accessModes:
- ReadWriteOnce
persistentVolumeReclaimPolicy: Retain
csi:
driver: com.example.team/csi-driver
volumeHandle: existingVolumeName
readOnly: false
附着和挂載
您可以在任何的 pod 或者 pod 的 template 中引用綁定到 CSI volume 上的 PersistentVolumeClaim。
kind: Pod
apiVersion: v1
metadata:
name: my-pod
spec:
containers:
- name: my-frontend
image: dockerfile/nginx
volumeMounts:
- mountPath: "/var/www/html"
name: my-csi-volume
volumes:
- name: my-csi-volume
persistentVolumeClaim:
claimName: my-request-for-storage
當一個引用了 CSI Volume 的 pod 被排程時， Kubernetes 将針對外部 CSI 插件進行相應的操作，以確定特定的 Volume 被 attached、mounted， 并且能被 pod 中的容器使用。
ceph-csi
Ceph CSI 插件在支援 CSI 的 Container Orchestrator (CO) 和 Ceph 叢集之間實作接口。它們支援動态配置 Ceph 卷并将它們附加到工作負載。
對ceph存儲的RBD或cephFS分别提供了對應接口，本文主要介紹ceph-csi-rbd接口的安裝部署。
ceph-csi github
部署文檔參考：ceph-csi-rbd部署
注意：部署之前需要保證已經搭建好了ceph叢集
我們搭建好的ceph叢集資訊如下
"clusterID": "21217f8a-8597-4734-acf6-05e9251ce8ac",
"monitors": [
"192.168.0.13:6789",
"192.168.0.14:6789",
"192.168.0.15:6789"
]
k8s部署
yaml檔案的配置模闆
建立namespace
kubectl create namespace ceph-csi-rbd
ceph配置
-
csi-config-map.yaml
---
apiVersion: v1
kind: ConfigMap
data:
config.json: |-
[
{
"clusterID": "21217f8a-8597-4734-acf6-05e9251ce8ac",
"monitors": [
"192.168.0.13:6789",
"192.168.0.14:6789",
"192.168.0.15:6789"
]
}
]
metadata:
name: ceph-csi-config
namespace: ceph-csi-rbd
-
secret.yaml
-
ceph-config.yaml
apiVersion: v1
kind: ConfigMap
data:
ceph.conf: |
[global]
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
# Workaround for http://tracker.ceph.com/issues/23446
fuse_set_user_groups = false
# ceph-fuse which uses libfuse2 by default has write buffer size of 2KiB
# adding 'fuse_big_writes = true' option by default to override this limit
# see https://github.com/ceph/ceph-csi/issues/1928
fuse_big_writes = true
# keyring is a required key and its value should be empty
keyring: |
metadata:
name: ceph-config
namespace: ceph-csi-rbd
-
storageclass.yaml
主要是配置clusterID與pool
pool需要在ceph叢集中建立
在ceph叢集中建立rbd存儲池的方法
ceph osd pool create rbd-k8s 256 256 ceph osd pool application enable rbd-k8s rbd ceph osd pool ls detail rbd ls rbd-k8s
安裝
Create CSIDriver object:
kubectl create -f deploy/csidriver.yaml -n ceph-csi-rbd
Deploy RBACs for sidecar containers and node plugins:
kubectl create -f deploy/csi-provisioner-rbac.yaml -n ceph-csi-rbd
kubectl create -f deploy/csi-nodeplugin-rbac.yaml -n ceph-csi-rbd
Deploy ConfigMap for CSI plugins:
kubectl create -f deploy/csi-config-map.yaml -n ceph-csi-rbd
Deploy Ceph configuration ConfigMap for CSI pods:
kubectl create -f deploy/ceph-config.yaml -n ceph-csi-rbd
Deploy CSI sidecar containers:
kubectl create -f deploy/csi-rbdplugin-provisioner.yaml -n ceph-csi-rbd
Deploy CSI driver:
kubectl create -f deploy/csi-rbdplugin.yaml -n ceph-csi-rbd
驗證
kubectl get all -n ceph-csi-rbd
NAME READY STATUS RESTARTS AGE
pod/csi-rbdplugin-2ndxj 3/3 Running 0 5d3h
pod/csi-rbdplugin-6qgx6 3/3 Running 0 5d3h
pod/csi-rbdplugin-cjqlx 3/3 Running 0 5d3h
pod/csi-rbdplugin-h4l4c 3/3 Running 0 5d3h
pod/csi-rbdplugin-provisioner-5fc5bb7dbc-6p49q 7/7 Running 0 5d3h
pod/csi-rbdplugin-provisioner-5fc5bb7dbc-jcp88 7/7 Running 2 5d3h
pod/csi-rbdplugin-xlbjp 3/3 Running 3 (4d21h ago) 5d3h
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/csi-metrics-rbdplugin ClusterIP 10.96.151.212 <none> 8080/TCP 5d3h
service/csi-rbdplugin-provisioner ClusterIP 10.107.93.250 <none> 8080/TCP 5d3h
NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE
daemonset.apps/csi-rbdplugin 5 5 5 5 5 <none> 5d3h
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/csi-rbdplugin-provisioner 2/2 2 2 5d3h
NAME DESIRED CURRENT READY AGE
replicaset.apps/csi-rbdplugin-provisioner-5fc5bb7dbc 2 2 2 5d3h
說明安裝成功
參考：
1 https://www.cnblogs.com/LiuChang-blog/p/15694898.html
2 https://github.com/ceph/ceph-csi/blob/devel/examples/README.md#deploying-the-storage-class
![k8s部署es叢集和kibana[圖]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACwAAAAAAQABAAACAkQBADs=)