ali CNCF pod resources及驱逐策略学习

pod resources

三种主要类型：cpu、memory及ephemeral-storage（GPU 仅仅支持在 limits 部分被指定,单位必须是整数）

ephemeral-storage

1 spec.containers[].resources.limits.ephemeral-storage

2 spec.containers[].resources.requests.ephemeral-storage

3 纯整数或小数形式：E，P，T，G，M，K

4 1024的幂次方：Ei，Pi，Ti，Gi，Mi，Ki

5 Each node has a maximum amount of local ephemeral storage it can provide for Pods.

cpu

1 spec.containers[].resources.limits.cpu

2 docker run 命令中的 --cpu-quota 标志的值

2.1 被乘以 100000 然后 除以 1000

2.2 DOCKER 1C=10万 100000

3 k8s 1000M=1C

4 spec.containers[].resources.requests.cpu

5 docker run 命令中的 --cpu-shares 标志的值

6 Kubernetes 中的一个 cpu 等于

6.1 1 AWS vCPU

6.2 1 GCP Core

6.3 1 Azure vCore

6.4 1 Hyperthread 在带有超线程的裸机 Intel 处理器上

7 允许浮点数请求0.1©等价于表达式 100m，可以看作 “100 millicpu”

memory

0 spec.containers[].resources.limits.memory

1 docker run 命令中的 --memory

2 spec.containers[].resources.requests.memory

3 平均整数或定点整数表示内存：E，P，T，G，M，K

4 或者1024的幂次方Ei，Pi，Ti ，Gi，Mi，Ki

5 找不到符合资源要求的event：failedScheduling

6 资源不足被kill：reason:OOM killed 被终止，OOM 表示 Out Of Memory

7 kubectl get pod -o go-template=’{{range.status.containerStatuses}}{{"Container Name: “}}{{.name}}{{”\r\nLastState: "}}{{.lastState}}{{end}}’ $podname

Pod 创建时归属 QoS 类

创建时候按pod resources 定义信息自动分类，不可手工设置

1 Guaranteed

1.1 Pod 中的每个容器必须指定内存请求和内存限制，并且两者要相等。

1.2 Pod 中的每个容器必须指定 CPU 请求和 CPU 限制，并且两者要相等

2 Burstable

2.1 Pod 不符合 Guaranteed QoS 类的标准。

2.2 Pod 中至少一个容器具有内存或 CPU 请求。

2.3 扩展资源有设置也归属Burstable

3 BestEffort

3.1 Pod 中的容器必须没有设置内存和 CPU 限制或请求

kubectl get pods $PODNAME -o yaml|grep qosClass

k8s 资源资源不足驱逐策略

1 依次驱逐 bestEffort、Burstable、guaranteed

2 按信号触发驱逐决定

2.1 memory.available memory.available := node.status.capacity[memory] - node.stats.memory.workingSet

2.2 nodefs.available nodefs.available := node.stats.fs.available

2.3 nodefs.inodesFree nodefs.inodesFree := node.stats.fs.inodesFree

2.4 imagefs.available imagefs.available := node.stats.runtime.imagefs.available

2.5 imagefs.inodesFree imagefs.inodesFree := node.stats.runtime.imagefs.inodesFree

3 nodefs 文件系统，kubelet 将其用于卷和守护程序日志等。

4 imagefs 文件系统，容器运行时用于保存镜像和容器可写层。

5 默认硬驱逐阈值

5.1 memory.available<100Mi

5.2 nodefs.available<10%

5.3 nodefs.inodesFree<5%

5.4 imagefs.available<15%

6 BestEffort 或 Burstable，其对短缺资源的使用超过了其请求，此类 pod 按优先级排序，然后使用高于请求。

7 Guaranteed pods and Burstable pods whose usage is beneath requests are evicted last

8 Guaranteed Pods are guaranteed only when requests and limits are specified for all the containers and they are equal.