天天看點
傳回

kubernetes中持久化存儲之StorageClass

kubernetes中持久化存儲之StorageClass

上面介紹的PV和PVC模式是需要運維人員先建立好PV，然後開發人員定義好PVC進行一對一的Bond，但是如果PVC請求成千上萬，那麼就需要建立成千上萬的PV，對于運維人員來說維護成本很高，Kubernetes提供一種自動建立PV的機制，叫StorageClass，它的作用就是建立PV的模闆。

具體來說，StorageClass會定義一下兩部分：

  1. PV的屬性 ，比如存儲的大小、類型等；
  2. 建立這種PV需要使用到的存儲插件，比如Ceph等；

有了這兩部分資訊，Kubernetes就能夠根據使用者送出的PVC，找到對應的StorageClass，然後Kubernetes就會調用 StorageClass聲明的存儲插件，建立出需要的PV。

這裡我們以NFS為例，要使用NFS，我們就需要一個nfs-client的自動裝載程式，我們稱之為Provisioner，這個程式會使用我們已經配置好的NFS伺服器自動建立持久卷，也就是自動幫我們建立PV。

說明：

  • 自動建立的PV會以${namespace}-${pvcName}-${pvName}的目錄格式放到NFS伺服器上；
  • 如果這個PV被回收，則會以archieved-${namespace}-${pvcName}-${pvName}這樣的格式存放到NFS伺服器上；

詳細可以參考：https://github.com/kubernetes-incubator/external-storage/tree/master/nfs-client

在部署之前，首先得確定有可用得NFS伺服器，這裡預設已經有可用得NFS伺服器了。

1、建立ServiceAccount，為nfs-client授權。

nfs-client-sa.yaml

---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-client-provisioner

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: nfs-client-provisioner-clusterrole
rules:
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["list", "watch", "create", "update", "patch"]
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["create", "delete", "get", "list", "watch", "patch", "update"]

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: nfs-client-provisioner-clusterrolebinding
subjects:
- kind: ServiceAccount
  name: nfs-client-provisioner
  namespace: default
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-clusterrole
  apiGroup: rbac.authorization.k8s.io

複制

通過上面得配置，設定nfs-client對PV，PVC，StorageClass等得規則。接下來我們建立這個YAML檔案：

[root@master storageclass]# kubectl apply -f nfs-client-sa.yaml 
serviceaccount/nfs-client-provisioner created
clusterrole.rbac.authorization.k8s.io/nfs-client-provisioner-clusterrole created
clusterrolebinding.rbac.authorization.k8s.io/nfs-client-provisioner-clusterrolebinding created

複制

2、建立nfs-client

使用Deployment來建立nfs-client，配置如下：

nfs-client.yaml

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: nfs-client-prosioner
spec:
  replicas: 1
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: nfs-client-prosioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
      - name: nfs-client-prosioner
        image: registry.cn-hangzhou.aliyuncs.com/rookieops/nfs-client-provisioner:v0.1
        imagePullPolicy: IfNotPresent
        volumeMounts:
        - name: nfs-client-root
          mountPath: /data/pv
        env:
        - name: PROVISIONER_NAME
          value: rookieops/nfs
        - name: NFS_SERVER
          value: 122.51.79.172
        - name: NFS_PATH
          value: /data/k8s/prometheus
      volumes:
      - name: nfs-client-root
        nfs:
          server: 122.51.79.172
          path: /data/k8s/prometheus

複制

然後建立這個YAML檔案。

[root@master storageclass]# kubectl apply -f nfs-client.yaml 
deployment.extensions/nfs-client-prosioner created

複制

檢視其狀态：

[root@master storageclass]# kubectl get pod
NAME                                    READY   STATUS    RESTARTS   AGE
nfs-client-prosioner-66c9bb7f88-q2qm4   1/1     Running   0          52m

複制

3、上面得建立完成後就可以建立StorageClass了。

nfs-client-storageclass.yaml

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-client-storageclass
provisioner: rookieops/nfs

複制

注意provisioner必須和上面得Deployment的YAML檔案中PROVISIONER_NAME的值保持一緻。

建立這個YAML檔案：

[root@master storageclass]# kubectl apply -f nfs-client-storageclass.yaml 
storageclass.storage.k8s.io/nfs-client-storageclass created
[root@master storageclass]# kubectl get storageclass
NAME                      PROVISIONER      AGE
nfs-client-storageclass   fuseim.pri/ifs   15s

複制

4、建立PVC

test-nfs-pvc.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: test-nfs-pvc2
  annotations:
    volume.beta.kubernetes.io/storage-class: "nfs-client-storageclass"
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 1Mi

複制

annotations的作用是在PVC裡聲明一個StorageClass對象的辨別。

建立這個YAML檔案，觀察其狀态：

[root@master storageclass]# kubectl apply -f test-pvc.yaml 
persistentvolumeclaim/test-nfs-pvc created
[root@master storageclass]# kubectl get pvc
NAME           STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS              AGE
test-nfs-pvc   Bound    pvc-e5b8765b-1d7b-4529-860f-bbe34e0b4109   1Mi        RWX            nfs-client-storageclass   2m16s

複制

我們看到該PVC自動申請到空間，其STORAGECLASS就是我們建立的nfs-client-storageclass。

5、建立一個Pod，進行測試

test-pod.yaml

apiVersion: v1
kind: Pod
metadata:
  name: test-storageclass-pod
spec:
  containers:
  - name: busybox
    image: busybox:latest
    imagePullPolicy: IfNotPresent
    command:
    - "/bin/sh"
    - "-c"
    args:
    - "sleep 3600"
    volumeMounts:
    - name: nfs-pvc
      mountPath: /mnt
  restartPolicy: Never
  volumes:
  - name: nfs-pvc
    persistentVolumeClaim:
      claimName: test-nfs-pvc2

複制

然後檢視NFS伺服器上是否生成對應的目錄：

[root@master k8s]# ll
total 0
drwxrwxrwx 2 root root 6 Oct 29 17:21 default-test-nfs-pvc2-pvc-91671ba7-8da8-4611-8bd5-3673f63d15cb

複制

我們可以看到生成了對應的目錄，格式和我們上面說的一緻。現在進Pod向該目錄下寫一個檔案，然後檢視NFS伺服器上是否存在該檔案：

[root@master storageclass]# kubectl exec -it test-storageclass-pod -- /bin/sh
/ # cd /mnt/
/mnt # echo "hello,I am NFS Server!" > test
/mnt # ls
test

[root@master default-test-nfs-pvc2-pvc-91671ba7-8da8-4611-8bd5-3673f63d15cb]# ls
test
[root@master default-test-nfs-pvc2-pvc-91671ba7-8da8-4611-8bd5-3673f63d15cb]# cat test 
hello,I am NFS Server!

複制

我們發現NFS伺服器上存在，說明我們驗證成功。

另外我們可以看到我們這裡是手動建立的一個 PVC 對象，在實際工作中，使用 StorageClass 更多的是 StatefulSet 類型的服務，StatefulSet 類型的服務我們也可以通過一個 volumeClaimTemplates 屬性來直接使用 StorageClass，如下：(test-statefulset-nfs.yaml)

apiVersion: apps/v1beta1
kind: StatefulSet
metadata:
  name: nfs-web
spec:
  serviceName: "nginx"
  replicas: 2
  template:
    metadata:
      labels:
        app: nfs-web
    spec:
      terminationGracePeriodSeconds: 10
      containers:
      - name: nginx
        image: nginx:1.7.9
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 80
          name: web
        volumeMounts:
        - name: www
          mountPath: /usr/share/nginx/html
  volumeClaimTemplates:
  - metadata:
      name: www
      annotations:
        volume.beta.kubernetes.io/storage-class: nfs-client-storageclass
    spec:
      accessModes: [ "ReadWriteOnce" ]
      resources:
        requests:
          storage: 1Gi

複制

可以看到volumeClaimTemplates就是我們上面的PVC模闆。然後我們建立這個檔案：

[root@master storageclass]# kubectl apply -f test-statefulset.yaml 
statefulset.apps/nfs-web created

[root@master storageclass]# kubectl get pvc
NAME            STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS              AGE
www-nfs-web-0   Bound    pvc-5df69dbe-8b54-45dd-acd0-769c0c9ee1b8   1Gi        RWO            nfs-client-storageclass   7s
www-nfs-web-1   Bound    pvc-0e83fef9-ec16-4e02-8482-7e04b7c81c92   1Gi        RWO            nfs-client-storageclass   3s

複制

可以看到會自動生成兩個PVC。

在NFS伺服器上也可以看到正常建立了目錄：

[root@master k8s]# ll
total 0
drwxrwxrwx 2 root root 18 Oct 29 17:29 default-test-nfs-pvc2-pvc-91671ba7-8da8-4611-8bd5-3673f63d15cb
drwxrwxrwx 2 root root  6 Oct 29 17:34 default-www-nfs-web-0-pvc-5df69dbe-8b54-45dd-acd0-769c0c9ee1b8
drwxrwxrwx 2 root root  6 Oct 29 17:34 default-www-nfs-web-1-pvc-0e83fef9-ec16-4e02-8482-7e04b7c81c92

複制

-----------------------

公衆号：喬邊故事（ID：qiaobiangushi）

知乎: 喬邊故事

頭條号：喬邊故事

隻要臉皮夠厚，整個世界都将被你踩在腳下。

-----------------------

上一篇: This Android SDK requires Android Develiper Toolkit version 22.6.2 or above.
下一篇: android studio(eclipse) 快捷鍵