天天看点

ACK集群中云盘数据卷的备份恢复方案

在阿里云ACK集群中部署有状态服务通常使用云盘数据卷做数据存储,云盘本身提供了数据的备份(快照)恢复机制,但是如何将底层能力和K8S服务集成并灵活的提供给应用使用,是云原生存储服务需要解决的问题。K8S使用如下两个特性来实现备份恢复能力:

通过VolumeSnapshot对象实现云盘的备份(快照功能);

通过PVC中的DataSource功能实现数据的恢复(快照恢复);

由于VolumeSnapshot在K8S 1.16版本处于Alpha状态,所以ACK集群当前没有默认部署快照功能,需要手动安装插件才能使用;

K8S快照说明:

在Kubernetes中为了实现快照相关功能,通过CRD定义了下面3个相关资源类型:

VolumeSnapshotContent:描述存储后端的快照实例,由系统管理员创建维护,无NameSpace;类比于PV概念;

VolumeSnapshot:声明一个快照实例,由用户创建维护,属于特定NameSpace;类比于PVC概念;

VolumeSnapshotClass:定义一个快照类,描述创建快照使用的参数、Controller;类比于StorageClass概念;

快照资源绑定规则:

在使用Snapshot对象时,和pv、pvc一样,VolumeSnapshot与VolumeSnapshotContent需要首先进行绑定;

VolumeSnapshot如果没有静态VolumeSnapshotContent可以绑定,则会创建动态VolumeSnapshotContent;

VolumeSnapshotContent 与 VolumeSnapshot 绑定是一对一;

删除VolumeSnapshotContent 同时会把后端的快照也删除;

1.卷快照模板

下面是一个VolumeSnapshotClass定义模板:

apiVersion: snapshot.storage.k8s.io/v1beta1
kind: VolumeSnapshotClass
metadata:
  name: default-snapclass
driver: diskplugin.csi.alibabacloud.com
parameters:
  forceDelete: "false"
deletionPolicy: Delete           

其中:

driver:定义了使用这个快照类的VolumeSnapshot所使用的controller;

deletionPolicy: 表示删除volumeSnapshot的时候,volumeSnapshotContent是否删除;

forceDelete: 表示是否允许在云盘引用快照的时候删除快照(默认是不允许删除的,因为以快照为数据源创建云盘时,创建过程会有时延,强制删除可能会造成数据丢失);

下面是一个VolumeSnapshot定义模板:

apiVersion: snapshot.storage.k8s.io/v1beta1
kind: VolumeSnapshot
metadata:
  name: new-snapshot-demo
spec:
  volumeSnapshotClassName: default-snapclass
  source:
    persistentVolumeClaimName: disk-ssd-web-0           

persistentVolumeClaimName:定义使用哪个pvc作为快照源;

volumeSnapshotClassName:定义了打快照使用的快照类;

2.通过快照恢复数据

通过云盘快照创建云盘是阿里云云盘提供的基础功能。在容器服务中通过在pvc定义DataSource指定使用哪个快照,动态创建云盘的时候即可实现使用快照创建云盘;

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: disk-snapshot
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: alicloud-disk-ssd
  dataSource:
    name: new-snapshot-demo
    kind: VolumeSnapshot
    apiGroup: snapshot.storage.k8s.io
  resources:
    requests:
      storage: 20Gi           

storageClassName:定创建pv的存储类,指向的disk controller需要支持DataSource特性;

dataSource:指定snapshot资源,说明创建云盘会使用这个快照数据;

插件部署:

集群准备:

部署csi-snapshotter前,您需要创建一个ACK 1.16版本集群,并在创建集群的时候选择使用CSI插件;

集群创建

部署CRD & Snapshot:

下载snapshotter crd模板:

https://github.com/kubernetes-sigs/alibaba-cloud-csi-driver/blob/master/deploy/disk/snapshot/crd.yaml

下载csi-snapshotter模板:

https://github.com/kubernetes-sigs/alibaba-cloud-csi-driver/blob/master/deploy/disk/snapshot/csi-snapshotter.yaml

部署插件:

$ kubectl apply -f crd.yaml
$ kubectl apply -f csi-snapshotter.yaml
           

部署完成后集群中csi插件如下:

# kubectl get crd
NAME                                             CREATED AT
volumesnapshotclasses.snapshot.storage.k8s.io    2020-06-17T09:36:32Z
volumesnapshotcontents.snapshot.storage.k8s.io   2020-06-17T09:36:32Z
volumesnapshots.snapshot.storage.k8s.io          2020-06-17T09:36:32Z

# kubectl get pod -nkube-system |grep csi-snap
csi-snapshotter-d78f57d4d-rmjhp                     3/3     Running   0          54m           

使用:

下图是一个使用示例流程图,分成1、2、3三个步骤:

ACK集群中云盘数据卷的备份恢复方案

步骤1:创建原始应用,创建云盘卷保存数据;

步骤2:创建VolumeSnapshot,这时会自动创建VolumeSnapshotContent和存储端的快照实例;

步骤3:创建新的应用,并配置PVC引用步骤2中创建的快照对象;

通过上述三步实现了:

备份:Volume1中的数据备份到Snapshot1;

恢复:Snapshot1的数据(Volume1的数据)恢复成Volume2卷;

创建VolumeSnapshotClass快照类:

下载VolumeSnapshotClass模板:

https://github.com/kubernetes-sigs/alibaba-cloud-csi-driver/blob/master/examples/disk/snapshot/snapshotclass.yaml
$ kubectl apply -f calss.yaml
apiVersion: snapshot.storage.k8s.io/v1beta1
kind: VolumeSnapshotClass
metadata:
  name: default-snapclass
driver: diskplugin.csi.alibabacloud.com
deletionPolicy: Delete           
# kubectl get VolumeSnapshotClass
NAME                AGE
default-snapclass   4h40m           

步骤1:创建原始应用并写入数据:

$ kubectl apply -f sts.yaml
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: web
spec:
  selector:
    matchLabels:
      app: nginx
  serviceName: "nginx"
  replicas: 1
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx
        volumeMounts:
        - name: disk-ssd
          mountPath: /data
  volumeClaimTemplates:
  - metadata:
      name: disk-ssd
    spec:
      accessModes: [ "ReadWriteOnce" ]
      storageClassName: "alicloud-disk-snap"
      resources:
        requests:
          storage: 20Gi           

往pod中写入数据:

# kubectl exec -ti web-0 touch /data/test
# kubectl exec -ti web-0 ls /data
lost+found  test           

步骤2:创建VolumeSnapshot:

$ kubectl apply -f snapshot.yaml
apiVersion: snapshot.storage.k8s.io/v1beta1
kind: VolumeSnapshot
metadata:
  name: new-snapshot-demo
spec:
  volumeSnapshotClassName: default-snapclass
  source:
    persistentVolumeClaimName: disk-ssd-web-0           

检查集群状态,VolumeSnapshot、VolumeSnapshotContent创建完成,同时到ECS控制台查看快照实例也创建完成:

# kubectl get volumesnapshots.snapshot.storage.k8s.io
NAME                AGE
new-snapshot-demo   36m

# kubectl get VolumeSnapshotContent
NAME                                               AGE
snapcontent-222d4dbb-beb4-49e5-8e11-ca6358c62123   36m           

步骤3:数据恢复

$ kubectl apply -f sts-snapshot.yaml
apiVersion: v1
kind: Service
metadata:
  name: nginx
  labels:
    app: nginx
spec:
  ports:
  - port: 80
    name: web
  clusterIP: None
  selector:
    app: nginx
---
apiVersion: apps/v1beta2
kind: StatefulSet
metadata:
  name: web-restore
spec:
  selector:
    matchLabels:
      app: nginx
  serviceName: "nginx"
  replicas: 1
  template:
    metadata:
      labels:
        app: nginx
    spec:
      hostNetwork: true
      containers:
      - name: nginx
        image: nginx
        command: ["sh", "-c"]
        args: ["sleep 10000"]
        volumeMounts:
        - name: disk-ssd
          mountPath: /data
  volumeClaimTemplates:
  - metadata:
      name: disk-ssd
    spec:
      accessModes: [ "ReadWriteOnce" ]
      storageClassName: alicloud-disk-ssd
      resources:
        requests:
          storage: 20Gi
      dataSource:
        name: new-snapshot-demo
        kind: VolumeSnapshot
        apiGroup: snapshot.storage.k8s.io           

在volumeClaimTemplates定义中指定dataSource为VolumeSnapshot类型,且选择步骤2创建的名字为new-snapshot-demo的VolumeSnapshot。

查看容器数据,验证是否恢复成功:

# kubectl exec -ti web-restore-0 ls /data
lost+found  test           

可见实现了数据的恢复。

本方案只给出了创建一个快照并进行恢复的场景,后续我们会提供创建定时快照的方案。

继续阅读