天天看點

阿裡雲進階技術專家周晶:基于融合與協同的邊緣雲原生體系實踐

2020年 5G 商用元年以來,各種邊緣場景開始火熱起來,邊緣計算又重回人們視野,這次的回歸還伴随着雲計算的普及與通信技術的颠覆式發展。邊緣雲作為 5G 與中心雲計算的中繼節點,處于雲網融合、承上啟下的關鍵位置。而邊緣雲 + 雲原生将會像集裝箱改變世界那樣,基于雲原生的标準化和深厚積累,更好的解決邊緣各種異構、垂直、分布式等場景的各類問題賦能邊緣場景。基于這種思考,結合阿裡巴巴集團豐富的邊緣生态業務,阿裡雲逐漸建構了邊緣雲原生體系。在近期的CCF TF48期研讨會上,阿裡雲邊緣雲進階技術專家周晶為現場技術專家們分享了阿裡雲邊緣雲原生體系建構過程中的思考與沉澱。

周晶 阿裡雲邊緣計算進階技術專家

高性能 OpenResty 開發架構 Vanilla 作者,WeiboMesh 發起人與初創核心成員,推進完成微網誌核心服務 Mesh 化改造,開源愛好者,目前主要負責阿裡雲邊緣融合計算平台的設計研發與邊緣雲原生體系建設,緻力于 5G 邊緣計算基礎設施的設計建設與行業落地。

阿裡雲進階技術專家周晶:基于融合與協同的邊緣雲原生體系實踐

以下摘自分享原文:

邊緣雲發展趨勢

回顧整個移動通信的演進曆程,從1980s 1G到來且模拟行動電話誕生,到後來2G網絡下的數字行動電話、3G下的全球範圍相容及網頁生成、4G移動寬帶加速視訊傳播,到5G時代移動物聯網與垂直行業的縱深融合,再到未來6G萬物深度智聯的行業展望,通信的主體從以人為中心,逐漸向以物為中心遷移。

資訊流轉,資料的生産消費方式也正在發生巨變。在5G環境下,無線網絡的接入能力進一步躍升,資料的生産消費方式由集中生産、分散消費轉變為分散生産、泛在消費,這意味着技術上需要進行應用的重構和産業的協同。

阿裡雲進階技術專家周晶:基于融合與協同的邊緣雲原生體系實踐

5G 時代,80% 的資料和計算将發生在邊緣

随着5G網絡對移動寬帶的增強,海量終端互聯以及對于高可靠低延遲時間連接配接的需求,邊緣雲的價值将日益凸顯。邊緣雲通過流量在邊緣收斂,實作對5G大流量的本地化處理和分發,避免海量流量對骨幹網絡的沖擊,同時也有效降低海量流量的遠端傳輸成本。

依托分布式架構,邊緣雲計算實作對海量終端高并發的分布式處理、深入場景的本地化計算能力,有效提升計算效率。同時,邊緣雲通過就近部署,滿足5G低延時處理的場景化需求。

阿裡雲進階技術專家周晶:基于融合與協同的邊緣雲原生體系實踐

阿裡雲邊緣雲 | 一雲多芯、一雲多态

今年 5 月以 “雲上創新” 為主題的阿裡雲峰會上,阿裡雲釋出了一雲多芯、一雲多态的一體化飛天架構,旨在通過飛天作業系統對 x86、ARM、RISC-V 等多種晶片架構的全面相容,以提供一套:雲産品架構統一、體驗一緻的飛天彈性架構,從中心向邊緣輻射,讓算力無處不在。

這 4 種形态的雲在位置分布、機房規模、應對的場景和解決的問題等方面各不相同。中心 Region 位于一線核心區域,作為全産品大體量,超大規模的公共雲形态,應對各種通用的彈性、高密、大并發、高可用場景,比如大家熟悉的網際網路計算場景、大資料、AI 模型訓練、推理等場景。中心 Region 通常離終端使用者較遠,時延一般在 100 ms以内。

物聯網IoT 現場計算節點位于使用者機房及業務現場,離使用者最近,提供軟硬一體的計算方案,面向裝置廠商提供雲端一體的裝置智能化服務,面向行業和政府提供企業數字化 IoT 基礎設施,以應對 IoT 裝置智能化、垂直行業的物聯網平台建設、IoT 裝置分發與拓展等場景,時延在 5 ms 以内。

而在中心和現場之間的作為中繼節點的本地 Region 和邊緣雲節點時延在 5 ms 到 20 ms 之間,本地 Region 位于數字經濟活躍區域,以中心雲小型化輸出的方式提供比邊緣雲節點更大規模的計算服務,重點支援區域企業數字化轉型的場景。

而我們團隊負責的邊緣雲由大規模地域分散的邊緣異構多雲融合節點組成,單節點規模在百數量級,節點廣泛覆寫離使用者更近的熱點區域,且互相協同組成一朵分布式雲;以應對邊緣裝置管理、智能終端上雲、視圖流化、渲染、CDN、以及終端算力上移、雲端算力下沉、5G + 邊緣雲網融合等邊緣場景,為使用者提供更近、更低延遲時間且與中心體驗一緻的雲服務。阿裡雲邊緣雲具有可遠端管控、安全可信、标準易用等特點。

阿裡雲進階技術專家周晶:基于融合與協同的邊緣雲原生體系實踐

邊緣雲的兩大問題域與邊緣雲原生

随着雲計算的深度發展使得企業群組織可以更聚焦自己的業務,大量的中心用雲需求在促進了雲體系的标準化、雲産業的日漸成熟以及相關技術水位不斷提升的同時,也教育和引導了使用者有更好的用雲習慣和意願。雲原生理念基于集裝箱标準化改變世界的原理逐漸的深入人心,可預見未來雲原生必然會在邊緣發揮舉足輕重的标準化優勢,因為沒有組織會不喜歡成本和效率的優化。基于雲原生的方法論來解決邊緣分布式雲服務的組織和全面雲化的問題再合适不過。漫漫求索的過程中,阿裡邊緣雲原生體系建設的程序拉開帷幕。

阿裡雲進階技術專家周晶:基于融合與協同的邊緣雲原生體系實踐

兩大問題域 ·融合 | 中心雲 VS 邊緣雲

那如何建構邊緣雲原生技術體系?過程中需要解決哪些問題?面對哪些挑戰呢?

對雲廠商來說,肯定是希望客戶都基于雲原生的方式來用雲,尤其在邊緣場景一方面由于環境和資源因素給管控和雲化服務帶來了巨大的挑戰。另一方面從邊緣的各種垂直領域的場景需求輸入來說,我們所要面對的場景和需求極為複雜,難度極大。舉個資源異構融合方面的例子,智能攝像頭、視圖裝置可能需要用 GPU,而其他場景卻需要普通 CPU,可能同時還需要有存儲的支援,那如何面對幾十台到上百台的邊緣 IDC 提供超融合的算力服務,如何最大限度降低各種管控帶來的公攤,更多的出賣可靠的算力就是非常有挑戰的事情。

這裡的融合主要是超融合的邊緣基礎 IaaS 服務以及雲網雙側的服務融合,有以下核心問題要解決:

  1. 如何通過超融合的 IaaS 技術完成邊緣基礎設施建設;
  2. 如何通過統一的管控體系,将邊緣分布式、異構的資源進行雲化納管,對上基于雲原生的方式提供全網、全域位置無感的 IPaaS(Infrastructure PaaS) 能力;
  3. 如何複用目前雲原生技術體系,基于前面的 IPaaS 提供高效、可靠的服務管控和部署的 APaaS 能力;
  4. 如何将雲網兩側的服務融合後為使用者提供更便捷、可靠的服務;
  5. 這裡的協同,有通信、管控層面的協同,比如跨 IDC 協同,也有雲和網的能力協同,比如網絡服務協同、雲網資源協同等。

下圖可以看到,中心雲和邊緣雲在資源屬性和節點屬性上的差異:

阿裡雲進階技術專家周晶:基于融合與協同的邊緣雲原生體系實踐

邊緣機房往往單個規模相對較小,幾台到上百台不等,而且分布廣泛,天然分布式雲架構;算力資源異構,通常針對不同場景有特定的硬體資源需求,邊緣 IDC 資源總量有限,往往多個雲廠商此消彼長,是以多雲資源的對接也是必由之路;網絡環境也不盡相同,有單線、多線,有經典網絡有 VPC,還有些小營運商機房其網絡架構往往完全定制化。單機房規模以及邊緣雲總量的的限制就确定必須要在有限的資源條件提供融合的服務,比如計算和存儲往往也需要混池,就算是有獨立的存儲資源池,也需要同時提供塊、對象、NAS 等多種形态的存儲能力。是以在邊緣建構超融合 IaaS 基礎設施是必然的選擇。

兩大問題域 ·融合 | 計算、存儲、網絡、排程

計算面的融合方面我們基于 Cloudlet 融合計算的方式實作在同一台物流裝置上同時提供裸金屬、虛機、安全容器等多種算力形态的服務。

阿裡雲進階技術專家周晶:基于融合與協同的邊緣雲原生體系實踐

邊緣計算的産品和研發團隊,大部分都有CDN行業的經驗,具備較強的緩存技術能力,但是對于邊緣計算來講,除了服務于應用網際網路和産業網際網路,需要提供基于網際網路節點的低成本、分布式、多類型的存儲和緩存系統,同時存儲資料的安全性也是要特别考慮的一點。

阿裡雲進階技術專家周晶:基于融合與協同的邊緣雲原生體系實踐

當邊緣節點可以提供更多的計算能力的時候,如何讓使用者更容易使用邊緣計算服務,邊緣網絡能力是不可或缺的一部分,我們需要建構一個雲-邊-端協同邊緣計算網絡,支援多雲協同(含與營運商MEC網絡協同)的能力,以透明的方式為使用者提供提供安全、可靠、加速、低成本的網絡服務。

阿裡雲進階技術專家周晶:基于融合與協同的邊緣雲原生體系實踐

邊緣節點數量較多,分布較廣,如何做到算力的快速分發以及全網萬級節點鏡像秒級分發。

阿裡雲進階技術專家周晶:基于融合與協同的邊緣雲原生體系實踐

兩大問題域 ·融合 | 雲網融合 多雲融合 MEC 與 5G 網絡對接

5G 網絡在設計之處就考慮了對邊緣計算的支援,比如 MEC,使用者面、控制面分離與使用者面的靈活部署以及多種本地分流技術等等。開篇也提到 5G R17 新增獨立的邊緣計算相關協定規範的制定本身就從标準上确定了雲網融合的大方向。可預見的未來雲跟網必定是你中有我、我中有你的。

當下随着 5G 建設的推進,營運商也根據 5G 标準逐漸開發了相關的 5G 開放能力 NEF。邊緣雲側也在逐漸開始嘗試與營運商的 MEC 資源對接。營運商也開始将 MEC 作為自身邊緣雲服務的一部分對 B 端客戶提供相應計算服務。這其實是一個雙赢的局面,營運商通過與雲的融合一來可以基于雲計算集約、彈性、按需擴充等特性将過去依賴于硬體相對僵化的網絡資源盤活,同時将自身的資源優勢與網的能力優勢及價值基于雲網融合發揮到最大化。雲廠商通過對接營運商的資源和服務,為客戶提供了更低延遲時間、更高保障的邊緣雲服務。

阿裡雲進階技術專家周晶:基于融合與協同的邊緣雲原生體系實踐

兩大問題域 ·協同 | 網絡協同

邊緣雲原生最基礎的分布式協同來自于天然的分布式環境,每個邊緣 IDC 都是一個邊緣的 Cloudlet 單元,管控過程中也可以将鄰近的多個獨立的 Cloudlet 整合為一個更大規模的 Cloudlet 統一管理。主要應對 Pod 跨 IDC 遷移;邊緣單節點脫網,如何通過鄰近的節點回雲或者與其它節點協同通信;阿裡雲邊緣雲建設了較為豐富的網絡協同能力,從端邊、邊邊、邊雲 全方位應對網絡協同帶來的各種問題和挑戰。

從邊緣雲原生生态的分布來看,我們希望邊緣雲原生的管控是逐漸去中心化的,盡管目前更多的實踐方式都是中心管控,邊緣自治。但從規模上看,長期的發展必然會導緻邊緣巨大的規模足以輕松讓中心集中管控的模式不堪重負,是以起步階段就考慮去中心化的分布式雲管控模式是明智之舉。而去中心化、單元化的分布式雲管控将對分布式協同的提出更高要求。在不遠的未來,邊緣網格、分布式消息總線将是解決這一系列問題的核心技術。

阿裡雲進階技術專家周晶:基于融合與協同的邊緣雲原生體系實踐

邊緣雲原生 | 邊緣雲網一體化

當邊緣計算節點越來越多,承載的使用者越來越多,不同的使用者在使用邊緣節點服務的時候也會提出更多的需求。除了提供的豐富算力之外,如何才能讓邊緣計算節點發揮更大的價值?

雲網一體化是邊緣雲非常重要的技術點。雲網的一體化主要表現在:一是對于位置的要求,本身邊緣雲服務對位置是無感的,雖然客戶場景是位置強需求的,它一定是有位置屬性;二是對于節點間的協作是完全基于網絡。同時,邊緣雲在層次上還承載了跟營運商的MEC節點,以及跟中心Region和本地Region之間的承接關系。這種承接關系、資料流向以及應用路徑的路由都是通過雲網一體技術去實作的。網絡中單個節點都可以認為是不可信的或者是可以短時間下線的,這就需要雲網一體化排程能力確定邊緣雲節點服務的高可用性。

阿裡雲進階技術專家周晶:基于融合與協同的邊緣雲原生體系實踐

阿裡雲擁有遍布全球2800+邊緣雲節點,確定客戶業務能夠觸達全球使用者。通過對CDN做全面雲化,CDN節點更新成邊緣雲節點,客戶在使用原有CDN資源時可享受更多邊緣計算服務。在IaaS層面有标準的邊緣雲節點服務ENS,它是一個小型的分布式雲節點服務。邊緣雲節點ENS底座提供了統一資源建設、統一資源庫存、統一對外資源傳遞能力,使各種應用場景能夠像使用統一作業系統一樣使用ENS資源。目前阿裡雲邊緣雲節點服務上,已建構了很多應用場景産品,包括CDN産品體系、雲通信場景、視圖計算場景、雲遊戲以及跟合作夥伴共建的創新場景。

阿裡雲進階技術專家周晶:基于融合與協同的邊緣雲原生體系實踐

阿裡雲飛天強大的技術生态體系、雲原生方向上多年的積累以及 CDN 十年磨一劍,更重要的是阿裡雲邊緣計算早早的行業布局與探索——CDN on ENS 以業務養平台,以平台養生态的戰略舉措,造就了這張飛天邊緣技術大圖。

關注阿裡雲Edge Plus公衆号,了解更多阿裡雲邊緣雲最新動态

阿裡雲邊緣雲建構能力與行業解決方案

建構能力 | 邊緣應用托管

我們以邊緣雲 IaaS 底座建構的邊緣容器平台作為底座,基于完全雲原生的理念來建構與中心雲體驗無差别,滿足雲原生标準的應用釋出、管控 APaaS(Application PaaS) 體系。基于雲原生 OAM 的應用管控模式,提供關注點分離,業務輕量的應用管理平台服務,整體完成邊緣基礎設施的雲化。為使用者提供了真正意義上的 EdgeNative 的邊緣應用托管服務。

阿裡雲進階技術專家周晶:基于融合與協同的邊緣雲原生體系實踐

目前基于我們建構的邊緣雲原生技術體系已經有許多内部核心業務大規模驗證,這裡跟大家分享幾個我認為比較有代表性的場景。

行業解決方案 | CDN on ENS

基于邊緣雲 ENS 底座建構的下一代雲化 CDN。我們基于 CDN 雲化的方式,為傳統 CDN 場景補齊了隔離重保、資源複用的短闆,同時也為業務創新打下堅實基礎。除此之外我們基于邊緣雲原生體系拓寬了 CDN 的業務邊界,從最初的 Content 分發,到如今定義為 Computing 計算分發網絡。為使用者提供了可程式設計 CDN 的核心服務能力,極大程度優化了客戶用雲成本,同時提升了業務創新的效率。

阿裡雲進階技術專家周晶:基于融合與協同的邊緣雲原生體系實踐

行業解決方案 | 流量計算産品

另一個比較有代表性的場景是流量計算新産品,我們基于 CDN 已有的全域統一接入排程能力,基于邊緣雲原生底座建構了強大的算力網絡。能夠做到秒級全網超大規模算力傳遞,算力按需使用,具備全網一緻的體驗,且支援按量付費,極大程度提高了整體的資源利用效率,也降低了客戶的算力成本。基于阿裡邊緣雲廣覆寫、超大規模的邊緣基礎設施以及全域統一資源排程與接入排程能力,真正做到了算随網動,以應對邊緣各種算力場景。

阿裡雲進階技術專家周晶:基于融合與協同的邊緣雲原生體系實踐

行業解決方案 | 數字孿生與智能終端上雲

對于具備播放能力而不具備算力的瘦用戶端,将原本需要在用戶端完成的渲染及強互動等功能移到雲上,在邊緣雲上完成渲染之後變成單視訊的播放和互動資料下發瘦終端即可。

阿裡雲進階技術專家周晶:基于融合與協同的邊緣雲原生體系實踐

行業解決方案 | 雲遊戲

在雲遊戲領域,邊緣雲ENS解決雲遊戲落地的“最後1公裡”,遊戲應用上傳即完成全球邊緣雲節點的部署,根據使用者分布就近處理資料請求。遊戲分發時達到毫秒級指令生效,實作快速分發到邊緣。雲遊戲在邊緣進行計算、分析以及下發指令,真正做到業務的快速響應。

阿裡雲進階技術專家周晶:基于融合與協同的邊緣雲原生體系實踐

未來展望

邊緣雲原生技術體系的建構自下而上,從底層基礎設施,IaaS、IPaaS、APaaS 、邊緣服務能力層(EdgeMesh、邊緣應用托管、全域排程等)、邊緣能力開放層等,可以預見 5G 邊緣計算必然是共生共赢的關系,兩者不能割裂來看。尤其在邊緣場景越來越多,且往工業和産業縱深越來越深入的情況下,各種新的需求和場景在不斷湧現。大到元宇宙、具體到車路協同等垂直場景,都對邊緣計算提出了更高的要求。邊緣雲原生技術體系下的安全性、穩定性、全域性能調優、雲網融合、網随雲動等領域是重點突破的方向,基于雲原生的理念真正高效解決好邊緣用雲用網的問題将是我們接下來比較核心的工作。

繼續閱讀