天天看点

k8s--job 控制器

介绍

job,主要用于负责批量处理(一次要处理指定数量任务)短暂的一次性(每个任务仅运行一次就结束)任务,job 特点如下

  • 当 job 创建的 pod 执行成功结束时,job 将记录成功结束的 pod 数量
  • 当成功结束的 pod 达到指定的数量时,job 将完成执行
k8s--job 控制器
 Job的资源清单文件:
apiVersion: batch/v1 # 版本号
kind: Job # 类型       
metadata: # 元数据
  name: # job 名称 
  namespace: # 所属命名空间 
  labels: #标签
    controller: job
spec: # 详情描述
  completions: 1 # 指定 job 需要成功运行 Pods 的次数。默认值: 1
  parallelism: 1 # 指定 job 在任一时刻应该并发运行 Pods 的数量。默认值: 1,如果上面的 completions 为 6 ,这个参数为 3 ,表示有 6 个 pod,允许有 3 个 pod 并发运行
  activeDeadlineSeconds: 30 # 指定 job 可运行的时间期限,超过时间还未结束,系统将会尝试进行终止。
  backoffLimit: 6 # 指定 job 失败后进行重试的次数。默认是 6
  manualSelector: true # 是否可以使用 selector 选择器选择 pod,默认是 false
  selector: # 选择器,通过它指定该控制器管理哪些 pod
    matchLabels:      # Labels 匹配规则
      app: counter-pod
    matchExpressions: # Expressions 匹配规则
      - {key: app, operator: In, values: [counter-pod]}
  template: # 模板,当副本数量不足时,会根据下面的模板创建 pod 副本
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never # 重启策略只能设置为 Never 或者 OnFailure
      containers:
      - name: counter
        image: busybox:1.30
        command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 2;done"]      

关于重启策略设置的说明

  • 如果指定为 OnFailure,则 job 会在 pod 出现故障时重启容器,而不是创建 pod,failed 次数不变
  • 如果指定为 Never,则 job 会在 pod 出现故障时创建新的 pod,并且故障 pod 不会消失,也不会重启,failed 次数加 1
  • 如果指定为 Always 的话,就意味着一直重启,意味着 job 任务会重复去执行了,当然不对,所以不能设置为 Always

job 的使用

创建 pc-job.yaml,内容如下:

apiVersion: batch/v1
kind: Job  # 类型为 job    
metadata:
  name: pc-job
  namespace: zouzou
spec:
  manualSelector: true # 是否可以使用 selector 选择器选择 pod,默认是false
  selector:
    matchLabels:
      app: counter-pod
  template:
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never # 设置重启策略
      containers:
      - name: counter
        image: busybox:1.30
        command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"]      

上面 job 要完成的任务是,循环输入 9、8、7、6、5、4、3、2、1,每输入一个就等待 3 s

为了更好的查看效果,我们这里在开两个窗口,分别监听 job 和 pod 

k8s--job 控制器

创建 job

# 创建 job
kubectl create -f pc-job.yaml      

查看上面动态监听的数据

k8s--job 控制器

从上面的结果可以看到,只有一个 job 在运行,而且最后 pod 完成之后, READY 的可提供服务的变为了 0

通过观察 pod 状态可以看到,pod 在运行完毕任务后,就会变成 Completed 状态

任务执行完成之后在来看下 job 和 pod

# job,COMPLETIONS / 前面的表示完成的数量,/ 后面的表示总的数量
[root@dce-10-6-215-215 ~]# kubectl get job -n zouzou -o wide
NAME     COMPLETIONS   DURATION   AGE     CONTAINERS   IMAGES         SELECTOR
pc-job   1/1           33s        5m53s   counter      busybox:1.30   app=counter-pod


# pod
[root@dce-10-6-215-215 ~]# kubectl get job -n zouzou -o wide
NAME     COMPLETIONS   DURATION   AGE     CONTAINERS   IMAGES         SELECTOR
pc-job   1/1           33s        5m53s   counter      busybox:1.30   app=counter-pod      

并发执行 job

接下来,调整下 pod 运行的总数量和并行数量 即:在 spec 下设置下面两个选项 :

  • completions: 6  指定 job 需要成功运行 Pods 的次数为 6
  • parallelism: 3  指定 job 并发运行 Pods 的数量为 3

然后重新运行 job,观察效果,此时会发现,job 会每次运行 3 个 pod,总共执行了 6 个 pod

先删除之前的 job

kubectl delete  -f pc-job.yaml      

修改 pc-job.yaml 文件,内容如下

apiVersion: batch/v1
kind: Job  # 类型为 job     
metadata:
  name: pc-job
  namespace: zouzou
spec:
  completions: 6 # 指定 job 需要成功运行 Pods 的次数。默认值: 1
  parallelism: 3 # 指定并发数 
  manualSelector: true # 是否可以使用 selector 选择器选择 pod,默认是false
  selector:
    matchLabels:
      app: counter-pod
  template:
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never # 设置重启策略
      containers:
      - name: counter
        image: busybox:1.30
        command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"]      

为了更好的查看效果,我们这里在开两个窗口,分别监听 job 和 pod 

创建 job

kubectl create -f pc-job.yaml      

查看 job

k8s--job 控制器

查看 pod

[root@dce-10-6-215-215 ~]# kubectl get pod -n zouzou -w
NAME                     READY   STATUS              RESTARTS   AGE
nginx3-c5d7c9466-vnt9c   1/1     Running             0          22h
pc-job-4xhlp             0/1     Pending             0          0s
pc-job-ls4wr             0/1     Pending             0          0s
pc-job-l48z9             0/1     Pending             0          0s
pc-job-4xhlp             0/1     Pending             0          0s
pc-job-ls4wr             0/1     Pending             0          0s
pc-job-l48z9             0/1     Pending             0          0s
pc-job-4xhlp             0/1     ContainerCreating   0          0s
pc-job-ls4wr             0/1     ContainerCreating   0          0s
pc-job-l48z9             0/1     ContainerCreating   0          0s
pc-job-l48z9             0/1     ContainerCreating   0          2s
pc-job-ls4wr             0/1     ContainerCreating   0          2s
pc-job-4xhlp             0/1     ContainerCreating   0          3s
pc-job-l48z9             0/1     ContainerCreating   0          3s
pc-job-ls4wr             0/1     ContainerCreating   0          3s
pc-job-4xhlp             0/1     ContainerCreating   0          3s
pc-job-ls4wr             1/1     Running             0          4s
pc-job-4xhlp             1/1     Running             0          4s
pc-job-l48z9             1/1     Running             0          4s
pc-job-l48z9             0/1     Completed           0          32s
pc-job-vhg2h             0/1     Pending             0          0s
pc-job-4xhlp             0/1     Completed           0          32s
pc-job-t8nkh             0/1     Pending             0          0s
pc-job-ls4wr             0/1     Completed           0          32s
pc-job-vhg2h             0/1     Pending             0          0s
pc-job-t8nkh             0/1     Pending             0          0s
pc-job-rr4md             0/1     Pending             0          0s
pc-job-rr4md             0/1     Pending             0          0s
pc-job-vhg2h             0/1     ContainerCreating   0          0s
pc-job-t8nkh             0/1     ContainerCreating   0          0s
pc-job-rr4md             0/1     ContainerCreating   0          0s
pc-job-vhg2h             0/1     ContainerCreating   0          3s
pc-job-t8nkh             0/1     ContainerCreating   0          3s
pc-job-vhg2h             0/1     ContainerCreating   0          3s
pc-job-rr4md             0/1     ContainerCreating   0          3s
pc-job-t8nkh             0/1     ContainerCreating   0          3s
pc-job-rr4md             0/1     ContainerCreating   0          3s
pc-job-vhg2h             1/1     Running             0          4s
pc-job-rr4md             1/1     Running             0          5s
pc-job-t8nkh             1/1     Running             0          5s
pc-job-vhg2h             0/1     Completed           0          32s
pc-job-rr4md             0/1     Completed           0          32s
pc-job-t8nkh             0/1     Completed           0          32s      

可以从上面结果看到,在 0-3s 的时候,有三个 pod 在创建,在 4s 的时候,有三个 pod 在 Running,说明是并发了 3 个 pod。

在 32s 的时候,之前创建的三个 pod 已经完成了,状态为 Completed。这时候,又有三个 pod 在创建,因为是新创建的 pod,所以 AGE 为 0

等到 4s 的时候,三个 pod 已经创建完成了,开始运行。在 32s 的时候,三个 pod 运行完成了,状态为 Completed

删除 job

删除 job 也有两种方式,一种是通过 yaml 文件,如下

kubectl delete  -f pc-job.yaml      

还有一种是通过 job 名称进行删除

kubectl delete job pc-job -n zouzou      
k8s--job 控制器