天天看點

雲未來、新可能 - 綠色、無處不在、可信的計算

2021 年 12 月 9 日至 10 日,KubeCon + CloudNativeCon + OpenSourceSummit China 2021 線上上舉辦。阿裡雲資深技術專家、容器服務研發負責人易立在大會主論壇進行了主題為 “雲未來,新可能” 的演講,分享了阿裡雲基于大規模雲原生實踐下的技術趨勢判斷和技術創新進展。

以下為分享全文實錄。

雲未來、新可能 - 綠色、無處不在、可信的計算

易立,阿裡雲資深技術專家、容器服務研發負責人

大家好,我是阿裡雲易立,目前負責容器服務産品線,也是 CNCF governing board 的成員。這是第二次在 KubeCon 與大家線上上交流。今天,我會分享阿裡雲在雲原生領域的實踐和思考,以及我們對未來的一些判斷。

雲原生 - 數字經濟技術創新基石

2020 年以來,新冠疫情改變了全球經濟的運作與人們的生活。數字化的生産與生活方式成為後疫情時代的新常态。今天,雲計算已經成為社會的數字經濟基礎設施,而雲原生技術正在深刻地改變企業上雲和用雲的方式。

阿裡雲對雲原生的定義是應雲而生的軟體、硬體和架構,幫助企業最大化獲得雲價值。具體來說,雲原生技術給企業帶來 3 個核心的業務價值:

1. 靈活高效 - 更好支援 DevOps 提升應用研發和傳遞效率,提升彈性和資源使用率。幫助企業可以更好應對環境變化,降低計算成本。

2. 加強韌性 - 利用容器技術可以簡化業務上雲,更好支撐微服務應用架構;進一步加強 IT 企業基礎設施和應用架構韌性,保障企業業務連續性。

3. 融合創新 - 5G,AIoT,AR/VR 等新技術快速發展,雲原生技術讓計算無處不在,可以更好地支援的新的融合計算形态。

如果說雲原生代表了雲計算的今天,那麼雲計算的未來會是什麼樣?

雲未來,新可能

資料中心作為數字經濟的動力引擎,其能耗增長已成為雲計算發展中不可忽略的問題。據報道,2020 年資料中心耗電量超過國内總用電量的 2.3%。而且占比将逐年增加。阿裡雲在身體力行地推動綠色計算,比如利用浸沒式液冷伺服器來降低資料中心 PUE。除此之外,我們看到資料中心的計算效率也有很大提升空間,據統計,全球資料中心的平均資源使用率不到 20%,這是巨大資源和能源浪費。

而雲計算的本質,就是把離散的算力,聚合成更大的資源池,通過優化的資源排程,充分削峰填谷,提供極緻的能效比。

新一代統一資源排程助力綠色計算

在阿裡集團實作了全面上雲之後,我們啟動了一個新的計劃——利用雲原生技術,對阿裡集團分布在全球數十個地域的數千萬核的伺服器資源,進行統一資源排程,全面提升使用率。通過阿裡集團、阿裡雲衆多團隊的努力,今年雙 11,統一排程項目交出了一份閃亮的答卷!

雲未來、新可能 - 綠色、無處不在、可信的計算

基于 Kubernetes 和阿裡自研的統一排程器 Cybernetes,通過一套排程協定、一套系統架構,對底層的計算資源進行智能化排程,向上支撐多種工作負載的混合部署,在保障應用 SLO 的前提下,提升資源使用率。讓電商的微服務、中間件等應用,搜推廣、MaxCompute 的大資料和 AI 業務,全部運作在統一的容器平台基礎之上。為阿裡集團每年可以減少數萬台伺服器算力的采購,帶來數以億計的資源成本優化。

其中單叢集規模超過上萬節點、百萬核。任務排程效率達到每秒 2 萬個,滿足搜尋、大資料、AI 等高吞吐、低延遲業務排程編排需求,性能卓越。統一排程幫助阿裡雙 11 大促成本降低 50%,生産環境常态化 CPU 使用率 65%。

雲原生 “Green AI” 應對 AI 大模型訓練的挑戰

多模态預訓練 AI 大模型被廣泛認為是邁向通用人工智能的關鍵路徑。

大家熟知的 GPT-3,擁有千億級參數,在某些自然語言了解領域可以實作比肩人類的處理能力。阿裡巴巴達摩院最新釋出的超大規模預訓練模型 M6 已經進入了 10 萬億參數時代。M6 擁有多模态的中文任務處理能力,尤其擅長設計、寫作、問答,在電商、服裝、科學研究等領域有廣泛應用前景。

Kubernetes 對深度學習任務的支援已經逐漸成熟。然而,超大規模模型訓練依然面臨着嚴峻的挑戰。萬億級參數模型訓練,動辄需要數千張 GPU、數十 T 顯存的計算資源,花費數十天才能完成訓練。

為了應對這些挑戰,Cybernetes 在原生 Kubernetes 基礎之擴充了面向大規模 AI 任務排程能力。通過高效的異構算力排程,資料感覺和通路加速,有效提升了 GPU 計算效率;通過錯峰排程,充分利用叢集空閑資源。支撐了雲原生的 PAI-Whale 架構高效的并行模型訓練。

雲未來、新可能 - 綠色、無處不在、可信的計算
雲未來、新可能 - 綠色、無處不在、可信的計算

M6 最終實作了僅用 512 張 GPU,在 10 天内可訓練出十萬億規模的超大模型。極大提升模型訓練的效率和資源使用率。與國際同等規模模型相比,能耗降低超過八成,真正實作了綠色 AI。

雲邊端協同實作無處不在的計算

随着 5G、物聯網、AR/VR 等新技術的不斷成熟,數字世界與實體世界在進一步融合。

OpenYurt 是業界首個開源的“零侵入的”雲原生邊緣計算項目,去年 11 月成為 CNCF Sandbox 項目。

雲未來、新可能 - 綠色、無處不在、可信的計算
雲未來、新可能 - 綠色、無處不在、可信的計算

邊緣計算面臨着算力分散、資源異構以及弱網連接配接等技術挑戰。Openyurt 基于 Kubernetes 建構了雲邊協同計算架構。在過去兩年已在視訊直播、雲遊戲、物流交通、智能制造、城市大腦等衆多行業落地。

今年,我們希望以雲原生的方式來實作裝置孿生,高效地解決物聯網場景下海量分布式裝置的管理和運維挑戰。經曆了 OpenYurt 與 EdgeX Foundry 社群, VMWare、Intel 等工程師的合作,實作對端裝置和應用管理的統一模組化和統一管理。下面我将為大家介紹一個利用 OpenYurt 實作無處不在計算的案例。

雲未來、新可能 - 綠色、無處不在、可信的計算

 機場營運效率對滿足日益增長的客流物流需求至關重要,與此同時機場安全性方面的挑戰也愈發突出。在智慧機場項目中,通過 OpenYurt 建構的雲邊端一體化架構,完成攝像頭、傳感器、邊緣 AI 一體機等構築的機場感覺層,和基于雲平台搭建全局統一管理和大資料平台,進而實作機場全局資料共享和分析,進而實作機場全景視訊拼接、安全的全域監控、實體可視全視野等能力。

隐私增強計算護航資料安全

随着移動網際網路、物聯網的快速發展,無處不在的計算時刻産生着海量資訊。如何讓基礎設施更加可信,保障隐私資料不被竊取、篡改、濫用成為重要的挑戰。随着國家《資料安全法》的施行,隐私增強計算業務得到了業界越來越多的重視。

據 Gartner 預測,到 2025 年,60% 的大型機構将采用 “隐私增強計算技術” 來處理不可信環境或多方資料分析用例中的資料。

隐私增強型計算中一個重要的技術分支,是通過基于硬體的可信執行環境 TEE 實作資料保護。TEE 的安全性是基于邊界的安全模型,它的安全邊界非常小并且存在于硬體晶片本身,使 TEE 内執行的應用,不再擔心來自其他應用、其他租戶或者平台方的威脅。 

雲未來、新可能 - 綠色、無處不在、可信的計算

将容器與可信執行環境相結合的機密容器技術,進一步提升了對敏感資訊的保護。一方面容器與完整的 OS 相比,攻擊面更小,另一方面基于容器的安全軟體供應鍊可以保障應用來源的可信、可追溯。

Inclavare Containers 是阿裡開源的,業界第一個面向機密計算的容器運作時項目。今年 9 月成為 CNCF 沙箱項目。機密容器可以将機密計算底層系統的全部複雜性都隐藏起來,遵循既有的雲原生标準化接口和規範,相容現有的生态。這将加速這項技術的普及。在社群中協作中,我們看到來自 Kata Container 社群的工程師也在探索相關方向。

雲未來、新可能 - 綠色、無處不在、可信的計算
雲未來、新可能 - 綠色、無處不在、可信的計算

正如圖中所示,由 Inclavare Containers 項目支援的 SGX 機密容器和由 Kata Confidential Container 項目支援的基于 MicroVM 的機密容器,在技術形态上具有高度的相似性。為此,兩個項目的開發者在積極進行合作,通過互相複用彼此的技術元件,最大化了技術價值,并為不同的 TEE 實作實作統一的開發者體驗。這也正展現了開源社群的力量。

從技術角度來看,相比于 runC 和 Kata 容器運作時,包含了敏感資料的容器鏡像需要事先進行加密和數字簽名;鏡像的下載下傳過程在 TEE 内進行,來確定鏡像解密過程的安全性;相關密鑰會通過機密計算特有的遠端證明機制所建立的安全可信信道傳遞到 TEE 中,以確定其内容不會被洩露和篡改;最後,整個機密容器在運作時都運作在硬體防護的 TEE 中,其計算過程中的資料在記憶體中是加密的,并受完整性保護。

通過雲原生技術普及數字化信任,還是一個新興的技術領域,非常期待大家一起共建!

加速雲原生人才梯隊培養

我們相信任何一項新技術的發展和普及,都要依靠專業的人才去驅動。作為雲原生領域的實踐者和先行者,阿裡雲非常重視通過自身的經驗沉澱,為開發者賦能。

今年 8 月,阿裡雲與 Linux 開源軟體學園、CNCF 共同釋出 “雲原生人才培養計劃 2.0” ,在生态的合力下,通過開放技能圖譜、專業課程、認證福利等方式,共同培養雲原生專業人才。我們也歡迎更多的開發者小夥伴們一起踏上雲原生的學習之路。

雲未來、新可能 - 綠色、無處不在、可信的計算

再次感謝大家的觀看,我們相信綠色、無處不在、可信的雲計算将進一步推動産業發展,幫助我們實作更加美好的明天。謝謝!

👇👇點選

此處

,即可直達阿裡雲雲原生專場!

繼續閱讀