阿裡雲Kubernetes CSI實踐 - 部署詳解

本文以阿裡雲ACK環境為例介紹如何在Kubernetes系統中部署CSI插件；

CSI部署拓撲：

分為CSI Provisioner和CSI Plugin兩部分：

Provisioner：目前隻支援雲盤，提供雲盤資料卷動态建立的功能；

Plugin：雲盤、NAS、OSS均需實作plugin；雲盤實作了attach、mount的功能；NAS、OSS實作mount功能；
           

OSS Plugin是通過fuse驅動實作的檔案系統挂載，在為了解決更新問題，通過systemd方案

說明

；

環境準備：

需要有Kubernetes叢集，可以通過阿裡雲ACK服務快速建立：

使用文檔

阿裡雲CSI插件推薦使用Node Attach方式

參考

，需要在kubelet中配置下面參數：

--enable-controller-attach-detach=false
           

下載下傳部署模闆：

https://github.com/AliyunContainerService/csi-plugin/blob/master/deploy/all/csi-plugin.yaml
https://github.com/AliyunContainerService/csi-plugin/blob/master/deploy/all/csi-provisioner.yaml
           

插件組成：

1. 依賴部分：

RBAC：
參考模闆：https://github.com/AliyunContainerService/csi-plugin/blob/master/deploy/rbac.yaml
這裡我們使用阿裡雲ACK中預設提供的serviceaccount：admin，可以滿足我們的需求；

CSIDriver：
定義插件執行Node Attach方式，不需要部署attacher；分别為NAS，OSS，EBS建立CSIDriver；
           

2. Plugin 插件：

預設提供雲盤、NAS、OSS三種存儲的插件，每個插件由plugin容器 和 driver-registrar容器組成；

模闆：

https://github.com/AliyunContainerService/csi-plugin/blob/master/deploy/all/csi-plugin.yaml

通過配置- operator: "Exists"，逃過所有node taint，保證在所有節點都部署；

通過配置priorityClassName: system-node-critical，保證插件在所有節點優先部署；

tolerations:
        - operator: "Exists"
      priorityClassName: system-node-critical           

網絡、Pid、securityContext都配置為高權模式，以便插件具有挂載權限；

hostNetwork: true
      hostPID: true           

csi-diskplugin，配置以下環境變量：

# 通過配置AK環境，為plugin提供挂載ak權限；也可用通過STS方式配置；
    #   文檔：https://help.aliyun.com/document_detail/86485.html
    # 配置MAX_VOLUMES_PERNODE，聲明單個節點最多過載的雲盤數量；ecs限制最大值為16，這裡取值應該小于等于16；
    
            - name: ACCESS_KEY_ID
              value: ""
            - name: ACCESS_KEY_SECRET
              value: ""
            - name: MAX_VOLUMES_PERNODE
              value: "15"           

3. Provisioner插件：

預設提供以下5個StorageClass：

alicloud-disk-available：會通過efficiency、ssd、common的順序依次嘗試建立雲盤；
alicloud-disk-essd：建立essd類型雲盤；
alicloud-disk-common：建立普通雲盤；
alicloud-disk-ssd：建立ssd類型雲盤；
alicloud-disk-efficiency：建立高效雲盤；
           

通過配置nodeSelector，限制Provisioner隻在master上執行，對于managed K8S場景可以去掉這個限制；

tolerations:
      - operator: "Exists"
      nodeSelector:
         node-role.kubernetes.io/master: ""
      priorityClassName: system-node-critical           

部署插件：

https://github.com/AliyunContainerService/csi-plugin/blob/master/deploy/all/csi-plugin.yaml
https://github.com/AliyunContainerService/csi-plugin/blob/master/deploy/all/csi-provisioner.yaml
           

執行部署指令：

# kubectl create -f csi-plugin.yaml
# kubectl create -f csi-provisioner.yaml
           

檢視服務：

# kubectl get pod -nkube-system | grep csi
csi-plugin-2csjm                                    6/6     Running   0          75s
csi-plugin-52cs7                                    6/6     Running   0          75s
csi-plugin-g7kwr                                    6/6     Running   0          75s
csi-plugin-lqv2p                                    6/6     Running   0          75s
csi-plugin-r5d82                                    6/6     Running   0          75s
csi-plugin-vgkzp                                    6/6     Running   0          75s
csi-provisioner-0                                   2/2     Running   0          65s

# kubectl get sc
NAME                       PROVISIONER                       AGE
alicloud-disk-available    diskplugin.csi.alibabacloud.com   2m8s
alicloud-disk-common       diskplugin.csi.alibabacloud.com   2m8s
alicloud-disk-efficiency   diskplugin.csi.alibabacloud.com   2m8s
alicloud-disk-essd         diskplugin.csi.alibabacloud.com   2m8s
alicloud-disk-ssd          diskplugin.csi.alibabacloud.com   2m8s

# kubectl get CSIDriver
NAME                              CREATED AT
diskplugin.csi.alibabacloud.com   2019-07-11T08:36:09Z
nasplugin.csi.alibabacloud.com    2019-07-11T08:36:09Z
ossplugin.csi.alibabacloud.com    2019-07-11T08:36:09Z
           

插件測試：

部署下面模闆，通過指定storageclass為alicloud-disk-ssd建立一個ssd類型雲盤；

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: disk-pvc
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 25Gi
  storageClassName: alicloud-disk-ssd
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-disk
  labels:
    app: nginx
spec:
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.7.9
        ports:
        - containerPort: 80
        volumeMounts:
          - name: disk-pvc
            mountPath: "/data"
      volumes:
        - name: disk-pvc
          persistentVolumeClaim:
            claimName: disk-pvc           

檢視部署：

# kubectl get pvc
NAME       STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS        AGE
disk-pvc   Bound    pvc-008eee21-a3db-11e9-8dec-00163e0a6ecc   25Gi       RWO            alicloud-disk-ssd   14s

# kubectl get pv
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM              STORAGECLASS        REASON   AGE
pvc-008eee21-a3db-11e9-8dec-00163e0a6ecc   25Gi       RWO            Retain           Bound    default/disk-pvc   alicloud-disk-ssd            23s

# kubectl get pod
NAME                          READY   STATUS    RESTARTS   AGE
nginx-disk-6d5659d745-pdjjl   1/1     Running   0          33s

# 雲盤已經挂載成功
# kubectl exec nginx-disk-6d5659d745-pdjjl ls data
lost+found

# kubectl exec nginx-disk-6d5659d745-pdjjl mount | grep /data
/dev/vdb on /data type ext4 (rw,relatime,data=ordered)           

歡迎加入阿裡雲CSI釘釘開發群

項目位址：

https://github.com/AliyunContainerService/csi-plugin