阿裡雲 Kubernetes CSI 實踐--部署詳解

作者：阚俊寶

一、CSI部署拓撲

共分為 CSI Provisioner 和 CSI Plugin 兩部分：

Provisioner：目前隻支援雲盤，提供雲盤資料卷動态建立的功能；
Plugin：雲盤、NAS、OSS均需實作plugin；雲盤實作了attach、mount的功能；NAS、OSS實作mount功能；           

OSS Plugin 是通過 fuse 驅動實作的檔案系統挂載，在為了解決更新問題，通過 systemd 方案

說明

二、環境準備

需要有 Kubernetes 叢集，可以通過阿裡雲ACK 服務快速建立：

使用文檔

阿裡雲 CSI 插件推薦使用 Node Attach 方式

參考

，需要在 kubelet 中配置下面參數：

--enable-controller-attach-detach=false           

下載下傳部署模闆：

https://github.com/AliyunContainerService/csi-plugin/blob/master/deploy/all/csi-plugin.yaml
https://github.com/AliyunContainerService/csi-plugin/blob/master/deploy/all/csi-provisioner.yaml           

三、插件組成

1. 依賴部分：

RBAC：
參考模闆：https://github.com/AliyunContainerService/csi-plugin/blob/master/deploy/rbac.yaml
這裡我們使用阿裡雲ACK中預設提供的serviceaccount：admin，可以滿足我們的需求；
CSIDriver：
定義插件執行Node Attach方式，不需要部署attacher；分别為NAS，OSS，EBS建立CSIDriver；           

2. Plugin 插件：

預設提供雲盤、NAS、OSS 三種存儲的插件，每個插件由 plugin 容器 和 driver-registrar 容器組成；

模闆：

https://github.com/AliyunContainerService/csi-plugin/blob/master/deploy/all/csi-plugin.yaml

通過配置- operator: "Exists"，逃過所有 node taint，保證在所有節點都部署；

通過配置 priorityClassName: system-node-critical，保證插件在所有節點優先部署；

tolerations:
        - operator: "Exists"
      priorityClassName: system-node-critical           

網絡、Pid、securityContext 都配置為高權模式，以便插件具有挂載權限；

hostNetwork: true
      hostPID: true           

csi-diskplugin，配置以下環境變量：

# 通過配置AK環境，為plugin提供挂載ak權限；也可用通過STS方式配置；
    #   文檔：https://help.aliyun.com/document_detail/86485.html
    # 配置MAX_VOLUMES_PERNODE，聲明單個節點最多過載的雲盤數量；ecs限制最大值為16，這裡取值應該小于等于16；
    
            - name: ACCESS_KEY_ID
              value: ""
            - name: ACCESS_KEY_SECRET
              value: ""
            - name: MAX_VOLUMES_PERNODE
              value: "15"           

3. Provisioner 插件：

預設提供以下 5 個 StorageClass：

alicloud-disk-available：會通過efficiency、ssd、common的順序依次嘗試建立雲盤；
alicloud-disk-essd：建立essd類型雲盤；
alicloud-disk-common：建立普通雲盤；
alicloud-disk-ssd：建立ssd類型雲盤；
alicloud-disk-efficiency：建立高效雲盤；           

通過配置 nodeSelector，限制 Provisioner 隻在 master 上執行，對于 managed K8S 場景可以去掉這個限制；

tolerations:
      - operator: "Exists"
      nodeSelector:
         node-role.kubernetes.io/master: ""
      priorityClassName: system-node-critical           

四、部署插件

https://github.com/AliyunContainerService/csi-plugin/blob/master/deploy/all/csi-plugin.yaml
https://github.com/AliyunContainerService/csi-plugin/blob/master/deploy/all/csi-provisioner.yaml           

執行部署指令：

# kubectl create -f csi-plugin.yaml
# kubectl create -f csi-provisioner.yaml           

檢視服務：

# kubectl get pod -nkube-system | grep csi
csi-plugin-2csjm                                    6/6     Running   0          75s
csi-plugin-52cs7                                    6/6     Running   0          75s
csi-plugin-g7kwr                                    6/6     Running   0          75s
csi-plugin-lqv2p                                    6/6     Running   0          75s
csi-plugin-r5d82                                    6/6     Running   0          75s
csi-plugin-vgkzp                                    6/6     Running   0          75s
csi-provisioner-0                                   2/2     Running   0          65s
# kubectl get sc
NAME                       PROVISIONER                       AGE
alicloud-disk-available    diskplugin.csi.alibabacloud.com   2m8s
alicloud-disk-common       diskplugin.csi.alibabacloud.com   2m8s
alicloud-disk-efficiency   diskplugin.csi.alibabacloud.com   2m8s
alicloud-disk-essd         diskplugin.csi.alibabacloud.com   2m8s
alicloud-disk-ssd          diskplugin.csi.alibabacloud.com   2m8s
# kubectl get CSIDriver
NAME                              CREATED AT
diskplugin.csi.alibabacloud.com   2019-07-11T08:36:09Z
nasplugin.csi.alibabacloud.com    2019-07-11T08:36:09Z
ossplugin.csi.alibabacloud.com    2019-07-11T08:36:09Z           

五、插件測試

部署下面模闆，通過指定 storageclass 為 licloud-disk-ssd 建立一個 ssd 類型雲盤；

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: disk-pvc
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 25Gi
  storageClassName: alicloud-disk-ssd
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-disk
  labels:
    app: nginx
spec:
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.7.9
        ports:
        - containerPort: 80
        volumeMounts:
          - name: disk-pvc
            mountPath: "/data"
      volumes:
        - name: disk-pvc
          persistentVolumeClaim:
            claimName: disk-pvc           

檢視部署：

# kubectl get pvc
NAME       STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS        AGE
disk-pvc   Bound    pvc-008eee21-a3db-11e9-8dec-00163e0a6ecc   25Gi       RWO            alicloud-disk-ssd   14s
# kubectl get pv
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM              STORAGECLASS        REASON   AGE
pvc-008eee21-a3db-11e9-8dec-00163e0a6ecc   25Gi       RWO            Retain           Bound    default/disk-pvc   alicloud-disk-ssd            23s
# kubectl get pod
NAME                          READY   STATUS    RESTARTS   AGE
nginx-disk-6d5659d745-pdjjl   1/1     Running   0          33s
# 雲盤已經挂載成功
# kubectl exec nginx-disk-6d5659d745-pdjjl ls data
lost+found
# kubectl exec nginx-disk-6d5659d745-pdjjl mount | grep /data
/dev/vdb on /data type ext4 (rw,relatime,data=ordered)           

項目位址：

https://github.com/AliyunContainerService/csi-plugin