天天看點

前沿開源技術領域解讀——開源雲原生

作者:開源中國OSC

近日,OSCHINA 和 Gitee 聯合釋出了《2022 中國開源開發者報告》。

前沿開源技術領域解讀——開源雲原生

其中 “前沿開源技術領域解讀” 部分,多位在其領域有所建樹的一線開發者和開源商業化公司創始人,對目前國内外流行的前沿開源技術領域過去的發展和未來的趨勢進行了深入的洞察,覆寫開源雲原生、開源 AI、開源大前端、開源大資料、開源 DevOps、RISC-V、開源作業系統、開源資料庫、程式設計語言九大領域。

本篇為開源雲原生領域的解讀。

軟體架構經曆了從單體架構、垂直架構到 SOA 架構,再到現在的以微服務、服務網格等雲原生技術為主的演變過程。雲原生正在被廣泛用于建構統一的标準 IT 基礎設施,并持續演進。與此同時,随着數字化轉型加速,雲原生技術正在從開始起步的網際網路行業,逐漸覆寫到金融、政務、物流、能源、交通等各行各業,形成了一種千行百業擁抱雲原生的局面。

2022 雲原生服務網格五大趨勢

2022 年,雲原生展露了一些趨勢。因我更多地關注服務網格領域,在此就該方向談談我的觀點,歡迎其他專家交流。

一是零信任的雲原生安全備受關注。CNCF 在《雲原生安全白皮書》中指出,“我們需要在應用安全生命周期中采用更自動化和安全的架構設計(如零信任)”,這表明雲原生安全越來越受重視。零信任安全意味着預設情況下,網絡内外都不信任任何人,并且要對試圖通路網絡資源的每一個人進行驗證。部署服務網格有助于縮小雲原生部署的攻擊面,并為建構零信任應用網絡提供關鍵架構。

二是 API 網關與服務網格融合。Ingress 作為 Kubernetes 的初代入口網關,資源模型過于簡單,以緻無法适應當今的可程式設計網絡。Gateway API 作為 Kubernetes 入口網關的最新成果,它通過角色劃分将關注點分離,并提供跨 namespace 支援使其更适應多雲環境,已獲得大多數 API 網關的支援;入口網關(南北向)與服務網格(東西向,叢集内路由)存在部分功能重疊,Gateway API 為兩者的融合提供了新的參考模型。

三是 eBPF 開始興起。越來越多的開源項目使用 eBPF 技術,比如 Cilium 将 eBPF 引入容器原生網絡,Merbridge 使用 eBPF 加速 Istio 中的透明流量劫持,Pixie 使用 eBPF 來建構可觀察性堆棧,SkyWalking 使用 eBPF 來診斷服務網格的性能問題。

四是無 Sidecar 模式的服務網格可供選擇。Istio 推出了 Ambient 部署模式,這是一種新的 Istio 資料平面模式,旨在簡化操作、擴大應用相容性并降低基礎設施成本。使用者可以選擇将 Ambient Mesh 內建到其基礎設施的網格資料平面,放棄 sidecar 代理,同時保持 Istio 的零信任安全、遙測和流量管理等核心功能。

五是 WebAssembly 崛起。WebAssembly 正在發展成為雲原生環境中跨平台、多語言的沙箱環境,甚至可以替代容器運作時,在 Kubernetes 中編排排程。WasmEdge、KubeEdge、Istio 等項目可以從控制平面無縫編排 Wasm 工作負載。

前沿開源技術領域解讀——開源雲原生

宋淨超

Tetrate 布道師/雲原生社群創始人,CNCF 大使,《未來架構》《深入了解 Istio》圖書作者之一,多本雲原生圖書譯者,開源愛好者,個人部落格 jimmysong.io 。

eBPF為雲原生應用可觀測性開啟更多可能性

Alexei Starovoitov 在 2014 年引入了擴充 BPF (external BPF) 設計,可以直接将 BPF 虛拟機開放至使用者空間,為核心運作使用者空間程式。誰也不會預想到,它在 2022 年被火熱追捧。

eBPF 具備的安全以及高效的特點,在雲、容器以及微服務應用發展迅速的今天,使基于 eBPF 的應用程式有了更多契合場景,在雲安全、容器網絡、分布式應用追蹤以及可觀測性等方面得到了廣泛使用與創新。

在可觀測領域,eBPF 提供了一個面向雲原生環境各層面資料擷取的方式。從基礎設施的角度,不僅降低監控資料擷取代價,而且有效地覆寫運作雲、容器平台之上的所有應用、系統、網絡的監控與觀測資料。這是一個非常值得關注的能力,它讓基礎設施緊密結合到應用成為可能。

應用間 API 的調用、分布式性能追蹤、容器平台彈性擴充後,直接關聯到所屬虛拟機或容器 POD 間的拓撲、網絡流,包括異常、吞吐與時延等。類比宇宙中的蟲洞,連接配接了不同時空的通道,多層抽象本身就是 IT 系統的特點,在雲環境中,多分層的特點更為突出。eBPF 使應用、系統、容器、雲等不同平面的觀測資料整體化擷取并關聯成為可能,并且擁有所有這些資料的總體代價達到足夠低。

此外在實踐中,觀測資料拉齊以及彙總關聯後,可在不同資料消費場景展現價值,如極大地提升部門間的協作效率,标準化的觀測資料也将推進 AIOps 的進步,在技術營運、量化服務等提供支撐。

前沿開源技術領域解讀——開源雲原生

來源

雲杉網絡創始人兼 COO。雲杉網絡旗下開源項目 DeepFlow 是一款面向雲原生開發者的高度自動化的可觀測性平台,使用了 eBPF、WASM、OpenTelemetry 等新技術,創新地實作了 AutoTracing、AutoMetrics、AutoTagging、SmartEncoding 等核心機制,極大避免了埋點插碼,顯著降低了後端數倉的資源開銷。

雲原生開源技術生态取得重要進展

以 Kubernetes 為核心的技術體系自誕生之日起,就在持續推進雲原生開源技術生态的發展。Kubernetes 作為分布式叢集管理系統的核心本質,其生态同樣需要能夠應對以下挑戰:一是對多形态異構資源的支援;二是對多樣化工作負載的支援;三是滿足多元度業務需求,包括效率、穩定性、使用率、開發效率等等;四是如何提供更加豐富、有效的手段來降本增效。而這,也正是雲原生生态發展的主脈絡。過去一年,雲原生開源生态在以下幾個領域取得了重要發展:

(1)多雲、多叢集部署已經成為常态,雲原生進入多雲管理服務的時代。OCM(OpenClusterManagement)、Clusternet、Karmada、Kubevela 等衆多雲原生多雲開源方案緻力于打造面向多雲、多叢集場景的應用管理平台,支援使用者将雲原生化的應用擴充到分布式雲,全局視角統一管理和運維分布式雲資源,解決混合雲、分布式雲帶來的技術挑戰。

(2)随着邊緣計算發展,CI/CD、DevOps、MLOps、容器和微服務等雲原生的概念越來越被應用到端和邊緣。過去一年,邊緣計算正在成為雲原生領域的一個重要分支。面向不同的業務場景,CNCF 湧現了非常多的開源項目,并共同推動着這個新興業務方向的發展(CNCF OpenYurt、KubeEdge、K3s、akri、SuperEdge 等),在雲邊協同、裝置管理、輕量化、雲邊網絡等方面帶來了大量創新。

(3)雲原生技術的發展趨勢正在朝着利用 Kubernetes 作為公共抽象層來實作高度一緻的、跨雲、跨環境的應用傳遞而不斷邁進。然而,盡管 Kubernetes 在屏蔽底層基礎架構細節方面表現出色,它并沒有在混合與分布式的部署環境之上引入上層抽象來為軟體傳遞進行模組化。是以,在雲原生開源領域誕生了以 OAM、KubeVela 為代表的應用傳遞與管理平台,也是一個獨立于運作時叢集的應用傳遞控制平台。過去一年,KubeVela 在資源狀态可視化、插件化,自動化等方面進行了全面的更新。

(4)“充分利用雲的資源彈性、異構算力、标準化服務以及容器、自動化、微服務等雲原生技術手段,為 AI/ML 提供工程效率高、成本低、可擴充、可複制的端到端解決方案。”這是業界對雲原生 AI 的一種比較完整的定義。在過去一年,不論是開源社群(Kubeflow、Fluid)還是商業方案(阿裡雲 ACK 雲原生 AI 套件)都聚焦在持續優化異構資源效率,和高效運作 AI 等異構工作負載上。

(5)CNCF 和 FinOps 基金會在持續将 FinOps 最佳實踐和标準進行推廣,以改善雲财務管理。Kubecost 開源的 OpenCost,有望成為 Kubernetes 成本監控的開源标準。另外,雲原生成本優化開源項目 Crane 的核心能力和 FinOps 基金會提出的能力模型也非常契合。另外一個和降本增效相關的就是混部技術。Koordinator、Vocalno 等優秀的開源混部項目推出和落地普及,為整個行業帶來了成熟的混部、排程能力。

前沿開源技術領域解讀——開源雲原生

黃玉奇

阿裡雲進階技術專家,Kubernetes Member,CNCF OpenYurt 項目發起人,開放原子基金會 TOC 成員。擁有豐富的雲原生領域經驗,多年來緻力于持續探索雲原生技術新場景,新邊界。曾主導多個大型邊緣計算項目的雲原生轉型,整體負責阿裡雲邊緣計算雲原生産品 ACK@Edge。

網關基礎設施或邁出走向标準化的關鍵一步

2022 年 5 月,基于開源網絡代理 Envoy Proxy 建構的 API 網關項目 Envoy Gateway 宣布開源,最初的參與者包括 Ambassador Labs、Fidelity、Tetrate 和 VMware。它使用 Kubernetes Gateway API 作為配置源并提供基于 Envoy Proxy 的強大流量治理和觀察能力。

API 網關是微服務架構下最為關鍵的基礎設施,是微服務叢集的對外流量入口,提供路由代理、流量治理、流量觀察、流量審計、API 管理等一系列功能。實際上在該領域并不缺少玩家,傳統如 Kong、Zuul 等暫且不論,新興的如 Gloo、Ambassador、Contour、Hango、Higress 等,均基于 Envoy Proxy 建構。

Envoy Proxy 是 Lfty 開源的高性能網絡代理項目,後被捐贈給 CNCF 基金會。如今,Envoy Proxy 已經被廣泛應用于 API 網關(Gloo、Ambassador、Hango、Higress 等等)與服務網格(Istio、AWS Mesh、Open Service Mesh 等等)之中,作為核心資料面元件。

然而即使同樣基于 Envoy Proxy,不同 API 網關也提供了不同的上層抽象與控制 API。

Envoy Gateway 項目的出現則有望實作各個基于 Envoy Proxy 的 API 網關在 API 層面的統一,避免無意義重複工作的同時,也降低了使用者的學習和切換成本。此外,Envoy Gateway 使用 Kubernetes Gateway API 作為唯一的配置源,複用原生 Kubernetes 叢集中微服務暴露的機制并減少差異。

Envoy Gateway 開源或是推動網關基礎設施走向标準化的關鍵一步。就像今時今日,Kubernetes 已經成為容器編排的事實标準,盡管在市場上存在着大量的基于 Kubernetes 的“發行版”且各有所長,但是其核心卻是一緻和穩定的。或許不遠的将來,API 網關産品也能如此。

前沿開源技術領域解讀——開源雲原生

王佰平

網易數帆雲原生專家、資深架構師,CNCF Envoy Maintainer,Hango/Slime Maintainer ,輕舟 API 網關與輕舟服務網格資料面負責人,通曉網關、負載均衡、服務網格等分布式技術原理,熟悉 Envoy 和 Istio,對于 API 網關、服務網格落地具有豐富的經驗。

Helm 和 Operator 模式趨于流行

企業在面對不确定性和複雜性的時候,在面對靈活精益和降本增效的時候,都可以在雲原生的工具箱中找到最适合自己的那一把。

作為一種最佳實踐,雲原生帶來的除了工具和平台的更新,還有理念和經驗的更新。越來越多的開源項目開始采用 Helm 和 Operator 的模式實作雲原生傳遞和自動運維。

一方面,各大主流開源項目紛紛推出了自己的 Helm Charts 制品,并推送到 ArtifactHub 公開釋出,豐富了雲原生應用商店。

另一方面,基礎設施即代碼在 Kubernetes 的最佳展現就是 Operator 模式,對于那些想部署在 Kubernetes,但又因結構複雜、維護繁瑣的應用來說可謂是一劑良藥。通過聲明的方式描述期望運作的狀态,用編碼實作相應的運維邏輯,以程式解決現實問題進而取代堆人肉運維。Prometheus、TiDB、Apache ShardingSphere 等知名項目都采用這種方式解放工程師生産力,并開源了相應的解決方案,如 ShardingSphere-on-Cloud。

此外,利用 KubeVela 實作 GitOps 的持續傳遞,利用 ChaosMesh 持續提升應用的健壯性,還有利用 Database Mesh 建設雲原生的資料庫可靠性工程,正在引領着基礎技術新風潮。

苗立堯

SphereEx 雲研發負責人,開源布道師,專注于 SaaS 和 Database Mesh。2015 年起開始接觸 Kubernetes,是國内最早一批雲原生實踐者,2016 年創辦“容器時代”公衆号,原創和翻譯引進 600 餘篇技術文章。曾在株式會社ネットスターズ、北京穿楊科技、螞蟻金服、易寶支付等擔任基礎設施架構師、雲産品負責人、雲原生研發工程師等相關職位。

多雲統一納管和零信任安全

多雲架構轉型成為大勢所趨,多雲運維的一緻性成為提升效率的關鍵。出于雲成本和雲安全的考慮,越來越多的企業不再依賴單一雲服務提供商,而是将不同的業務分布在多個雲上運作。此時他們面對的問題是,如何在本地和公有雲、主機托管商、邊緣雲的環境中得到一緻的運維體驗來提高效率。

使用 Kubernetes 托管服務可以應對多雲和混合環境的一些挑戰,Kubernetes 提供了利用跨本地和公有雲基礎架構的多雲和混合 IT 環境的機會,它已經是雲原生時代事實上的标準。應用程式的可移植性、一緻性操作,以及一緻的開發和部署等技術機遇會幫助企業轉化為關鍵的利益:減少當機時間、存儲和計算資源的多樣化以及風險最小化。

零信任成為雲原生應用程式和基礎設施的新安全模型。公共雲、私有雲和混合雲技術的發展使基礎架構和應用程式能夠立即部署到任何位置,安全邊界也在不斷縮小。安全内網概念不複存在,所有網絡和系統都可能在某個時候受到損害,是以它們的安全不容忽視。

零信任安全采用主動的安全方式,要求明确允許每個通路和操作,已經成為了一種更加可靠的安全思維方式,可以幫助企業改善安全态勢。實施零信任安全控制是通過自動化 CI/CD 管道安全部署現代雲原生應用程式的關鍵推動因素。應用程式和管道需要每天或每周數百次将新的或更新的應用程式自動部署到任何臨時的基礎設施上。這種自動化特征讓傳統的安全方法無法奏效。

但是,零信任安全不能代替傳統安全政策,企業需要用好安全的組合拳來建立 “縱深防禦”,除了基于零信任的控制之外,還應應用傳統的安全技術,例如 Web 應用程式防火牆 (WAF)、主機 IDS/IPS 和惡意軟體掃描,給基礎設施提供多層的保護。

前沿開源技術領域解讀——開源雲原生

陳毅威

陳毅威先生現任 SUSE 大中華區總裁,負責上司 SUSE 在大中華區市場的整體營運。陳毅威先生在大中華區 IT 領域擁有超過 30 年的豐富高層管理經驗。在加入 SUSE 之前,陳毅威先生曾在 Tableau 擔任中國區總裁,Symantec 大中華區負責整體業務超過 4 年。在此之前,在 EMC 公司大中華區任職超過 17 年。陳毅威先生擁有中國北京清華大學 EMBA 碩士學位。同時也畢業于澳洲莫納什大學,擁有計算機科學、資訊技術與商業管理及會計學士學位。

雲原生業界生态空前活躍,要落地仍然考驗創造力

CPU 經曆了單核到多核的發展,電腦、手機等個人電子裝置也借助網際網路和 5G 實作了社會數字化、萬物互聯。而 2022 年這一年,雲原生領域,也在潛移默化地發生着類似的變化。

以 Kubernetes 為核心的雲原生基礎設施的普及率增速不斷提高,大量牽扯到國計民生的生産業務在向新的架構遷移和轉變。一個普通的消費者可能感覺不到這個變化,但相信 B 端 IT 從業者的感受是最明顯的。這對我們的要求已經不是搭建和運維“一個” K8s 這麼簡單。

首先從容器運作時及封裝技術上,客戶就有了更多的選擇,如 docker、containerd、Kata 等,同時,從基礎設施層面,從單 IDC 到混合雲到分布式雲,針對分布式雲的多叢集管理架構及邊緣計算架構也呈現了百家争鳴的狀态,如 Karmada、OCM、KubeEdge、SuperEdge 等。

雲原生技術的先進性和便利性讓算力集中化的傳統模式進一步被打破,混合雲也不再是一個高高在上的複雜話題,人們更多是在向新一代的分布式算力模式去演進,借助雲原生的技術、更強的“網”的能力,“家門口的”雲原生算力已經不再是紙上談兵。比如将能夠實作屏蔽基礎設施的統一函數計算視角的管理架構和雲服務商的雲、網、邊、端、資料等服務能力相結合,就可以直接實作業務應用視角的價值變現,把各種雲服務能力無縫地嫁接到使用者的身邊。

從 CNCF 及旗下的各個組織及軟體項目蓬勃發展來看,整個雲原生業界的生态空前活躍。各個業務場景都有多種方案選擇,從計算資源排程架構、運作環境、開發工具、應用标準、運維支撐等等應有盡有,也就是說木料、石料、錘子、改錐、螺絲都已經送到家門口了,那接下來能否利用好這些工具造出有用的東西,考驗的是想象力、創造力和行動力。

前沿開源技術領域解讀——開源雲原生

于爽(Calvin Yu)

青雲科技 KubeSphere 容器産品負責人,參與并研發了多款青雲容器相關産品,如 Kubernetes On QingCloud,KubeSphere 等。在加入青雲科技之前,于爽供職于 IBM,對中間件監控、電子商務等多個領域有深入研究。青雲科技旗下開源項目 OpenFunction ,是一個現代化的函數即服務項目,它能夠幫助開發者專注于他們的業務邏輯,而不必擔心底層運作環境和基礎設施,此外,它引入了 Knative、Tekton、Shipwright、Dapr、KEDA 等些技術棧,為打造新一代開源函數計算平台提供了無限可能。

更多内容請檢視《2022 中國開源開發者報告》

https://gitee.com/report/china-open-source-2022/advanced-technology#AI

繼續閱讀