一個controller調用另一個controller_如何在K8S中建立一個自定義Controller?

目的
CRD資源定義
代碼生成
Controller編寫

目的

Custom Resource

是擴充Kubernetes的一種方式(另外一種就是通過聚合層API

apiserver-aggregation

)，而controller對指定的resource進行監聽和執行對應的動作(watch,diff,action)。Operator與Controller差別

所有的Operator都是用了Controller模式，但并不是所有Controller都是Operator。隻有當它滿足: controller模式 + API擴充 + 專注于某個App/中間件時，才是一個Operator。
Operator就是使用CRD實作的定制化的Controller. 它與内置K8S Controller遵循同樣的運作模式(比如 watch, diff, action)
Operator是特定領域的Controller實作

讨論兩者差別：https://github.com/kubeflow/tf-operator/issues/300

是以先學習如何建構出一些自定義的Controller肯定是之後實作Operator的基礎。

實作一個自定義的Controller由兩部分組成：CRD和Controller邏輯代碼

這裡以sample-controller的代碼為例，同時我們自己寫的Controller也可以參考這個代碼結構。

CRD資源定義

以sample-controler中的為例，我們需要建立的一個

Foo

如下example-foo.yaml：

建立該

Foo

自定義資源後，期望建立出一個名稱為

example-foo

，副本數為

的deployment。

它的CRD定義如下：

更多關于crd定義規則可以參考官方文檔：

https://kubernetes.io/docs/tasks/access-kubernetes-api/custom-resources/custom-resource-definitions/

當把這個crd資源apply到叢集中後，我們可以通過

kubectl get apiservice v1alpha1.samplecontroller.k8s.io -o yaml

指令看到注冊這個

apiservice

代碼編寫

隻需要将我們

Foo

resource相關的struct，其餘的類似自定義資源的

informers

listers

clientset

以及

deepcopy

的代碼都可以通過工具code-generator自動生成。

以及編寫我們自定義Controller的業務邏輯代碼就好了

struct資源定義

type.go

其中類似

+k8s:

的注釋是代碼生成來識别的。

Foo

FooList

注冊進入

scheme

中。

代碼生成

代碼生成能幫我處理大部分重複代碼，主要通過

https://github.com/kubernetes/code-generator

這個包進行解析tag并生成。

全局tag

必須在目标包的doc.go檔案中聲明，典型路徑是 pkg/apis///doc.go。

内容示例：

局部tag

+genclient: 為這個 package 建立 client。
+genclient:noStatus: 當建立 client 時，不存儲 status。
+k8s:deepcopy-gen:interfaces=k8s.io/apimachinery/pkg/runtime.Object: 為結構體生成 deepcopy 的代碼，實作了 runtime.Object 的 Interface。

代碼生成：

通過./hack/update-codegen.sh方法可以生成，client以及deepcopy代碼。

包含：

_前提：code-generator 已經在vendor中，執行

go mod vendor

update-codegen.sh内容如下

完整使用說明：

Usage: generate-groups.sh     ...        the generators comma separated to run (deepcopy,defaulter,client,lister,informer) or "all".    the output package name (e.g. github.com/example/project/pkg/generated).      the external types dir (e.g. github.com/example/api or github.com/example/project/pkg/apis).   the groups and their versions in the format "groupA:v1,v2 groupB:v1 groupC:v2", relative
                      to .
  ...                 arbitrary flags passed to all generator binaries.
Examples:
  generate-groups.sh all             github.com/example/project/pkg/client github.com/example/project/pkg/apis "foo:v1 bar:v1alpha1,v1beta1"
  generate-groups.sh deepcopy,client github.com/example/project/pkg/client github.com/example/project/pkg/apis "foo:v1 bar:v1alpha1,v1beta1"

interface{}處理

場景：如果我們需要一個通用的類型的object，如下：

我們在spec裡面定義了一個fields字段，類型是object(即key ,value的形式)，value的值可能是int也可能是string或者bool

在type定義的時候我是這麼寫的，定義為map[string]interface{}

當在代碼生成的時候，發現會報錯：