天天看點

CNCF 官方大使張磊:Kubernetes 是一個“資料庫”嗎?Kubernetes 聲明式應用管理理論基礎總結

CNCF 官方大使張磊:Kubernetes 是一個“資料庫”嗎?Kubernetes 聲明式應用管理理論基礎總結

最近,Kubernetes 社群裡有一個關于“Kubernetes is the new database”的論述,引起了很多人的關注。當然,這個論述更确切的含義,指的是 Kubernetes 項目本身的工作原理類似于資料庫,而不是說你應該把 Kubernetes 當資料庫用。

CNCF 官方大使張磊:Kubernetes 是一個“資料庫”嗎?Kubernetes 聲明式應用管理理論基礎總結

粗看起來,這個 “Kubernetes 是一個資料庫” 的論述還是比較匪夷所思的。畢竟我們平常所說的 Kubernetes 的工作原理,比如控制器模式、聲明式 API 等等,好像跟“資料庫”這個東西并沒有什麼直接關系。但實際上,這個論述背後卻有着其非常本質的含義。這裡的緣由,得從 Kubernetes 項目裡一個最基礎的理論談起。

Kubernetes 聲明式應用管理理論基礎

在我們讨論 Kubernetes 的時候,往往會提到這樣一個概念,叫做“聲明式應用管理”。實際上,這也是 Kubernetes 項目跟其他所有基礎設施項目都不一樣的一個設計,是 Kubernetes 所獨有的一個能力,那麼,你有沒有思考過,聲明式應用管理在 Kubernetes 中具體的表現到底是什麼呢?

1.聲明式應用管理不僅僅是“聲明式風格的 API”

如果我們回顧一下 Kubernetes 的核心工作原理,我們其實就不難發現這樣一個事實:Kubernetes 裡面的絕大多數功能,無論是 kubelet 執行容器、kube-proxy 執行 iptables 規則,還是 kube-scheduler 進行 Pod 排程,以及 Deployment 管理 ReplicaSet 的過程等等,其實從總體設計上都是在遵循着我們經常強調過的“控制器”模式來進行的。即:使用者通過 YAML 檔案等方式來表達他所想要的期望狀态也就是終态(無論是網絡、還是存儲),然後 Kubernetes 的各種元件就會讓整個叢集的狀态跟使用者聲明的終态逼近,最終達成兩者的完全一緻。這個實際狀态逐漸向期望狀态逼近的過程,就叫做 reconcile(調諧)。而同樣的原理,也正是 Operator 和自定義 Controller 的核心工作方式。

這種通過聲明式描述檔案,以驅動控制器執行 reconcile 逼近兩個狀态的工作形态,正是聲明式應用管理最直覺的展現。需要注意的是,這個過程其實包括了兩層含義:

  • 聲明式描述的期望狀态。這個描述必須是嚴格意義上使用者想要的最終狀态,如果你在這個描述裡面填寫的是某個中間狀态,或者你希望動态的調整這個期望狀态,都會破壞這個聲明式語義的準确執行;
  • 基于 reconcile 的狀态逼近過程。Reconcile 過程的存在,確定了系統狀态與終态保持一緻的理論正确性。 确切地說,Reconcile 過程不停的執行“檢查 -> Diff -> 執行”的循環,才使得系統能夠始終對系統本身狀态與終态直接的差異并能夠采取必要的行動。而相比之下,僅僅擁有聲明式的描述是不充分的。這個道理很容易了解,你第一次送出這個描述時系統達成了你想要的期望狀态,并不能代表、也不能保證一個小時後的情況也是如此。很多人會搞混“聲明式應用管理”和“聲明式風格的 API” ,其實就是對 Reconcile 必要性沒有正确的認識。

你也許會比較好奇,采用這種聲明式應用管理體系,對于 Kubernetes 來說有什麼好處呢?

2.聲明式應用管理的本質:Infrastructure as Data

實際上,聲明式應用管理體系背後的理論基礎,是一種叫做 Infrastructure as Data (IaD)的思想。這種思想認為,基礎設施的管理不應該耦合于某種程式設計語言或者配置方式,而應該是純粹的、格式化的、系統可讀的資料,并且這些資料能夠完整的表征使用者所期望的系統狀态。

注:Infrastructure as Data 有時也被稱作 Configuration as Data,背後的意思是一樣的。

而這樣做的好處就在于,任何時候我想對基礎設施做操作,最終都等價于對這些資料的“增、删、改、查”。而更重要的是,我對這些資料進行“增、删、改、查”的方式,與這個基礎設施本身是沒有任何關系的。是以說,我跟一個基礎設施互動的過程,不會被綁定在某種程式設計語言、某種遠端調用協定、或者某種 SDK 上。隻要我能夠生成對應格式的“資料”,我就能夠“天馬行空”地使用任何我喜歡的方式來完成對基礎設施的操作。

這種好處具體展現在 Kubernetes 上,就是如果我想在 Kubernetes 上做任何操作,我隻需要送出一個 YAML 檔案,然後對這個 YAML 檔案進行增删改查即可。而不是必須使用 Kubernetes 項目的 Restful API 或者 SDK 。這個 YAML 檔案裡的内容,其實就是 Kubernetes 這個 IaD 系統對應的 Data(資料)。

是以說,Kubernetes 從誕生起就把它的所有功能都定義成了所謂的“API 對象”,其實就是定義成了一份一份的 Data。這樣,Kubernetes 使用者就可以通過對這些 Data 進行增删改查來達成自己想要的目标,而不是被綁定在某種具體的語言或者 SDK 上。更重要的是,相比于專有的、指令式的 API 或者 SDK,以 YAML 為載體的聲明式資料能夠更簡單的完成對底層實作的屏蔽,進而更容易對接和內建現有的基礎設施能力,這其實也是 Kubernetes 生态能夠以驚人的速度蓬勃發展到今天的一個秘密武器:IaD 思想帶來的聲明式 API 與控制器模式,讓整個社群更願意為 Kubernetes 編寫插件和對接各種能力,并且這些插件和能力的通用性和可移植性也非常高,這是其它項目比如 Mesos 和 OpenStack 所望塵莫及的。可以說,IaD 正是 Kubernetes 能夠達成 “The Platform for Platform” 這個目标的核心戰鬥力所在。

說到這裡,大家估計也就明白了:這種 IaD 設計中的 Data 具體表現出來,其實就是聲明式的 Kubernetes API 對象;而 Kubernetes 中的控制循環,則是確定系統本身能夠始終跟這些 Data 所描述的狀态永遠保持一緻。從這一點上來說,Kubernetes 本質上其實是一個以資料(Data)來表達系統的設定值、通過控制器(Controller)的動作來讓系統維持在設定值的調諧系統。

等一下,這個“讓系統維持在設定值”的理論,聽起來好像有點耳熟?

實際上,Kubernetes 背後的這門基礎課,可能絕大多數工科背景的讀者都是學過的,它叫做《控制理論》。

CNCF 官方大使張磊:Kubernetes 是一個“資料庫”嗎?Kubernetes 聲明式應用管理理論基礎總結

是不是感覺豁然開朗了呢?

在明白了 Kubernetes 的這個本質之後,我們回過頭來再看原本一些比較難以了解的設定,可能會更容易體會到一些本質的東西。

比如,今天我們在使用 Kubernetes 的時候之是以要寫那麼多 YAML 檔案,其實是因為我們需要通過一種方式把 Data 送出給 Kubernetes 這個控制系統。而在這個過程中,YAML 隻是一種為了讓人類能夠格式化的編寫 Data 的一個載體。如果做一個類比,那麼 YAML 就像我們小時候作業本裡的“田字格”,而“田字格”裡寫的那些文字,才是 Kubernetes 真正關心的 Data 和整個系統運轉的核心。

細心的讀者此時應該已經想到了,既然 Kubernetes 需要處理這些 Data,那麼 Data 本身不是也應該有一個固定的“格式”這樣 Kubernetes 才能解析它們呢?沒錯,這裡的格式在 Kubernetes 中就叫做 API 對象的 Schema。如果你經常編寫自定義 Controller 的話,可能就會對這個 Schema 的體感比較深刻:CRD 就是一個專門用來定義 Schema 的一個特殊的 API 對象。

YAML 工程師?不,你是資料庫工程師!

上述 Kubernetes 的 IaD 的本質,決定了它的工作原理其實更類似一個“資料庫”,而不像傳統意義上的分布式系統。這個差異,也是導緻 Kubernetes 學習成本比較陡峭的一個根本性原因。

而從這個角度來講,Kubernetes 為你暴露出來的各種 API 對象,實際上就是一張張預先定義好 Schema 的表(Table)。而我們絞盡腦汁編寫出的那些 YAML 檔案,其實就是對這些表中的資料(Data)進行的增删改查(CURD)。而 YAML 這個工具本身,則好比 SQL 一樣是一個幫助你對資料庫中的資料進行操作的工具和載體。而唯一跟傳統資料庫不太一樣的是,Kubernetes 在拿到這些資料之後,并不以把這些資料持久化起來為目的,而是希望通過這些資料來驅動 Controller 執行某些操作,進而将整個系統的狀态逐漸調整為跟資料中聲明的終态一緻,這就回到我們前面所說的“控制理論”部分了。

也正是由于 Kubernetes 這樣整套體系都圍繞着“資料”這個一等公民運轉的設定,才使得“編寫和操作 YAML檔案”成為了 Kubernetes 工程師的幾乎唯一的日常工作。不過,在了解了本文今天介紹的 IaD 的思想之後,你其實大可以把自己比作一個“資料庫工程師”了,而且這個 TItle 确實要比“YAML 工程師”更加貼切一些。

Kubernetes 項目的“視圖層”

正如前文所述,如果你從一個“資料庫”的角度重新審視 Kubernetes 設計的話,就不難發現 Kubernetes 的很多設計背後其實有着非常精妙的思想。比如:

  • 資料模型 - Kubernetes 的各種 API 對象與 CRD 機制
  • 資料攔截校驗和修改機制 - Kubernetes Admission Hook
  • 資料驅動機制 - Kubernetes Controller/Operator
  • 資料監聽變更與索引機制 - Kubernetes 的 Informer 機制
  • ……

另外一方面,随着 Kubernetes 基礎設施越來越複雜,第三方插件與能力越來越多,社群的維護者們也發現 Kubernetes 這個“資料庫”内置的“資料表”無論從規模還是複雜度上,都正在迎來爆炸式的增長。是以 Kubernetes 社群很早就在讨論如何給 Kubernetes 設計出一個“資料視圖(View)”出來,即:

CNCF 官方大使張磊:Kubernetes 是一個“資料庫”嗎?Kubernetes 聲明式應用管理理論基礎總結

而這樣一個建構在 Kubernetes 内置 API 資源之上的“視圖層”給 Kubernetes 使用者帶來的好處,跟資料庫中的“視圖”是非常類似的,比如:

1.簡化和更改資料格式和表示

Kubernetes 的視圖層,需要能夠給研發和運維暴露更簡潔的、經過抽象後的應用層 API 對象,而不是原始的基礎設施層 API 對象。而一個視圖層對象具體如何定義,自由度應該完全在使用者手中,不需要拘束在底層 Kubernetes 内置對象的 Schema 上。

2.簡化複雜的資料操作(簡化 SQL )

經過抽象後産生的視圖層對象,不僅在 UI 上需要更加簡單,還需要可以定義和管理非常複雜的底層 Kubernetes 資源拓撲,進而降低使用者管理 Kubernetes 應用的複雜度和心智負擔。

3.保護底層資料表

研發和運維直接操作的是視圖層對象,是以底層的 Kubernetes 原始對象是被保護起來的。這使得這些 Kubernetes 的原始對象可以在使用者無感的情況下進行任意變更和更新。

4.複用資料操作(複用 SQL)

由于視圖層對象與底層基礎設施是完全解耦的,是以一個通過視圖層聲明的應用或者運維能力可以在任意 Kubernetes 叢集漂移,而不必擔心這些叢集支援的能力是不是有差異。

5.視圖依然是表,支援标準的表操作

Kubernetes 的視圖層對象必須依然是标準的 Kubernetes 對象,這樣 Kubernetes 對 API 對象的所有操作和原語對,才會對視圖層對象适用。我們不能在 Kubernetes API 模型上引入額外的心智負擔。

給 Kubernetes 設定視圖層的想法雖然最終沒有在 Kubernetes 上遊落地,但是卻成為了社群中大多數大規模玩家的主流做法。比如 Pinterest 就在 Kubernetes 之上設計了一個 PInterestService 的 CRD 來描述和定義 Pinterest 的應用,這個 CRD 其實就是一個視圖層對象。但這個做法對于絕大多數企業來說,還是太過簡陋了。要知道,資料的“視圖”并不隻是資料的簡單抽象和翻譯,在真正的生産環境中要大規模使用視圖層,至少需要解決幾個關鍵問題:

  • 如何定義和管理視圖層對象與底層 K8s 對象之間的映射關系?注意這裡絕不是簡單的一對一映射,一個視圖層對象可能會對應多個 K8s 對象。
  • 如何對“運維能力”進行模組化和抽象?一個真正的應用,絕不隻是簡單的 Deployment 或者 Operator,它一定是待運作程式與相應的運維能力的有機組合(比如一個容器化應用和它的水準擴充政策)。這些運維能力如何通過在應用定義裡展現出來?全定義成 annotation 可行嗎?
  • 如何管理運維能力同待運作程式之間的綁定關系?如何将這個綁定關系映射成底層 K8s 當中真正的執行關系?
  • 如何通過視圖層對象标準化的定義雲資源,比如一個阿裡雲的 RDS 執行個體?

上述這些問題,正是 Kubernetes 上遊最終沒能将“視圖層”落地的重要原因之一,同時也是諸如 Open Application Model (OAM)這樣的 Kubernetes 應用層開源項目主要的關注點。需要指出的是,僅靠一個 OAM 這樣一個“規範”是依然不足以解決上述所有問題的,Kubernetes 視圖層的建立,必須借助标準的視圖層依賴庫在實作層予以保證,才能真正在 Kubernetes 中享受到“資料視圖”帶來的優勢和便捷。目前社群中比較強大的 Kubernetes 視圖層依賴庫,是來自 Crossplane 團隊的 oam-kubernetes-runtime:

https://github.com/crossplane/oam-kubernetes-runtime

總結

Kubernetes 這個以 IaD 為核心的、類似“資料庫”設計,正是這個社群繁榮發展背後的重要理論基礎。然而,IaD 的思想本身也是一把雙刃劍,它催生出來的蓬勃發展的社群的另一面,是無數個“各自為政”的 Controller/Operator,以及一個通過這些 Controller 拼裝出來的、複雜度極高的 Kubernetes 叢集。這樣的一個生産級别複雜度的 Kubernetes 叢集,距離一個真正受研發和運維喜愛的雲原生應用管理平台,差距可謂十萬八千裡。

在過去的 5 年裡,Kubernetes 項目的巨大成功,實際上是基礎設施能力(比如網絡、存儲、容器)在聲明式 API 下逐漸标準化和統一化的一個過程,而随着 OAM 等 Kubernetes 應用層技術的逐漸普及,我們已經看見一個标準化應用層生态正在付出水面。越來越多的團隊正在嘗試通過更加使用者友好的資料視圖層,對最終使用者暴露出喜聞樂見的 API,同時對基礎設施工程師提供出更加強大的橫向連通與子產品化的平台能力。

與此同時,Kubernetes 這個“資料庫”其他欠缺的部分,也一定會越來越多的在社群湧現出來。比如今天正在迅速成熟的 Open Policy Agent(OPA)項目,可以認為是“資料攔截校驗和修改機制”這一層的不斷進化結果。再比如阿裡巴巴内部在“萬節點”叢集中推進的管控鍊路性能調優工作,其理論基礎和實踐,跟今天的資料庫性能優化,更是有異曲同工之妙的。

本文轉自<阿裡巴巴雲原生技術圈>——阿裡巴巴雲原生小助手