天天看點

阿裡雲李克:阿裡雲邊緣雲計算的技術和實踐

備受關注的2021全球分布式雲大會·北京站于4月7日隆重召開,分布式雲是2021年全球十大重要戰略科技趨勢之一,利用分布式架構技術創新,連接配接邊緣節點、私有雲和公有雲的閑置資源組成分布式混合雲發展潛力無限。在4月7日下午舉辦的邊緣計算論壇上,阿裡雲資深技術專家李克為我們帶來了《阿裡雲邊緣雲計算的技術和實踐》為題的精彩演講!

阿裡雲李克:阿裡雲邊緣雲計算的技術和實踐

01 邊緣計算的核心目标是人、事、物的快速決策

什麼是邊緣計算?邊緣計算是相對傳統集中通用計算而言,将工作負載部署在邊緣的一種計算方式。采用分散式運算架構,在盡可能靠近物、資料源或使用者的地方進行應用計算與資料存儲,僅将必要的結果送到雲中心。同時,邊緣計算也是中心雲和裝置之間的緩沖,是中心雲的延伸,與中心雲互補。目前邊緣計算落地推動力分别是延遲/确定性、資料/帶寬、有限的自治權、隐私/安全性。

李克總結道:邊緣計算的核心目标是推動人、事、物的快速決策。

Gartner按照位置不同劃分3種計算場景,分别是Near Edge、Far Edge、Cloud,對應着終端計算、IDC計算和中心雲計算。其中Near Edge是标準伺服器或裝置,在距離端側最近的地方,例如在工廠和園區,可以為任何Arm,X86裝置;而Far Edge是标準的IDC節點,而Cloud是公共雲或專有雲服務,特征為資源集中、中心化管理。

在IDC資源定義下,邊緣計算的結構又可以分為Heavy Edge與Light Edge。其中Heavy Edge通常是集中的大規模節點,提供通用的計算存儲能力,如CDN、自建IDC比較常見;而Light Edge是特殊功能的低功耗計算平台,通常适用于工業控制,基本的資料處理、傳輸等物聯網場景。

02 2022年邊緣雲計算将成為數字業務剛需

5G發展帶來大資料、大連接配接、低延遲時間應用場景,需要邊緣雲計算提供基礎的計算能力,催生邊緣雲需求快速增長。邊緣雲分布式的網絡架構,可實作離線、就近計算,滿足特定行業對實時性、可靠性與安全性等的嚴格要求。邊緣雲起到了承上啟下的作用,除了場景上的需求,另一個需要考慮的是成本,中心機房一般都是超大規模,幾千上萬台機器,對應的建設投入和營運成本都非常高,而且一般都是BGP帶寬,使用成本比較高,而邊緣雲節點,機器配置不用太高,節點規模也較小,一般幾十台左右,網絡也是單線接入,在成本上具備較大的優勢。

比如在一個城市大腦項目中,通過将應用部署下沉到邊緣,能夠節省大量的BGP帶寬開銷,另外邊緣上也能夠解除安裝大量的資料,當資料收斂到5%之後,總成本可以節約一半以上。而成本一直都是客戶選擇雲計算的一個核心要素。

李克表示,在市場需求不斷上升與自身技術不斷突破雙重推動下,在2022年,邊緣雲将成為所有數字業務的基礎設施。

阿裡雲李克:阿裡雲邊緣雲計算的技術和實踐

傳統的公共雲肯定會一直存在,提供超強的計算和存儲能力,距離客戶較遠,而邊緣雲有遍布全國的幾千個小型節點,能夠離客戶較近。邊緣雲是中心雲的拓展,和中心雲一起來提供面向應用場景,以及面向産業網際網路的下一代雲計算解決方案。

在未來,中心式公共雲的大資料中心節點數量少、單點規模大、離終端距離近遠;而分布式邊緣雲節點數量多、單點規模小、離終端距離近。分布式邊緣雲可以更好的面對低延時場景、大寬帶場景、大連接配接等場景,并可以更好地面向産業網際網路。

03 阿裡雲邊緣雲産品ENS

在介紹了整個邊緣計算的架構與未來發展之後,李克提到了邊緣技術面臨的挑戰。

資源的管理 一方面資源形态較多,比如有CPU機器、GPU機器,也有面向ANDROID應用的ARM陣列,機型的不統一和節點網絡環境不統一,使得節點建設和傳遞會面臨較大的挑戰,另外節點的數量規模也會比較大,随着MEC節點的引入,節點規模會發展到百萬量級,對資源的管理帶來較大的挑戰。

資源的使用 資源使用也需要更好的技術方案,雲中心的标準虛拟化方案在小型節點上需要進行改造和适配,邊緣上的計算、存儲、網絡的切片能力,以及中心的雲産品和中間件能力下沉都需要大量技術投入,能夠将所有邊緣異構節點形成統一資源管理。

雲邊一體的管控技術 中心和邊緣、邊緣之間的管控需要統一,對客戶提供位置無感的服務,在邊緣節點上需要做好邊緣的自治能力,資源可以快速擴縮容,以及執行個體的冷熱遷移能力。

協同網絡的挑戰 所有的邊緣節點之間,以及邊緣和中心之間需要一個統一的底層網絡,能夠提供穩定可靠、品質成本最優的的傳輸體驗。

總體上講,需要在邊緣雲上提供統一的資源建設納管和統一的排程和生産能力,以及位置無感的服務和網絡傳輸。

阿裡雲李克:阿裡雲邊緣雲計算的技術和實踐

在面對以上提到的四大挑戰上,李克為我們帶來了阿裡雲邊緣雲産品ENS。

李克首先介紹了阿裡雲邊緣雲發展的情況,第一個階段是錘煉期,在2017開始打造,依托于CDN的資源開始進行邊緣計算節點的改造;第二個階段是提供IAAS的基礎服務,18年實作了覆寫100公裡的邊緣節點布局,19年進一步擴大了節點規模,有了超過300個ENS節點,未來會進行更多節點的管理;第三個階段對具體業務和場景的支援,比如智慧城市項目,智能家居等;現在已經步入了第四個階段,在IAAS的基礎上,打造一些通用的PAAS能力,來進行更好的業務場景支援,比如雲原生平台、視圖計算平台、全球互動通信網絡等。

李克表示阿裡雲邊緣雲整體上發展政策是資源一步步下沉到離端最近的地方,另外對上層提供的能力越來越貼近業務場景,如今阿裡雲邊緣雲産品ENS已擁有衆多産品能力:

  • 在計算上,支援三種基礎計算形态,虛機容器和安全容器,終端的數字孿生計算。
  • 在存儲上,支援塊存儲、檔案存儲,對象存儲等多種形态,将原有CDN的緩存能力變為通用的KV能力。
  • 在網絡上,實作了節點内的多種網絡形态,跨節點的網絡加速和交換能力,以及邊緣的負載均衡産品。
  • 在安全上,提供了四七層的防攻擊能力,針對内容和主機的安全能力等,600G的DDoS攻擊。
  • 在管控上,能夠高效的進行節點的自動化建設,以及容器虛機的高效生産,和鏡像釋出的管控。
阿裡雲李克:阿裡雲邊緣雲計算的技術和實踐

在架構上,李克進一步介紹道:阿裡雲邊緣雲計算産品ENS從基礎設施開始,一層層進行封裝,底層的伺服器、交換機能夠形成統一的池化資源。在IaaS層通過邊緣飛天作業系統,抽象出來計算、存儲網絡的資源形态;在PaaS層提供了存儲平台、計算平台、容器平台、視圖計算平台和應用管理平台;最上層的SaaS場景交給客戶進行封裝實作,完成垂直化業務和創新場景的落地。

04 邊緣業務場景實踐

李克表示阿裡雲做邊緣雲有3個優勢:第一個是資源優勢、第二個是技術優勢、第三個是自有業務的優勢。

李克為我們舉例道:阿裡雲有一個飛天作業系統用來管理中心的雲計算體系,我們基于邊緣打造了一個飛天邊緣作業系統,主要是希望邊緣上能夠承載中心雲的算力下沉,以及端上的算力上移,讓計算在發生在最低成本和最佳體驗的節點上。比如資料分析,就可以在邊緣上進行預處理,而不需要全量的資料回傳到中心雲處理,這就實作了算力的下沉。

終端算力上移場景代表性的場景就是雲遊戲、雲應用等,終端不需要配置較好的晶片,運算和渲染發生在邊緣節點上,終端隻需要進行流式顯示即可,進而完成了算力的上移。

接下來看一下内部的場景,我們先拿分布式日志平台來舉例子:

在邊緣上不管是提供CDN服務,還是視訊服務,都會有大量的通路日志和記錄檔,這些日志需要給業務決策提供輸入,涉及到大量的計算和存儲開銷,其挑戰也是非常大的。

首先在規模上,大量的分布式叢集,每天産生超過10PB的資料,這些資料都需要能夠可靠的進行收集和處理。其次在成本上,對應的計算、存儲、網絡開銷每年高達幾億,而且業務還在持續快速增長在效率上,有大量的定制分析需求,需要快速釋出,原始資料檢索也需要快速支援,最後在穩定性上,因為很多資料涉及到排程和計費場景,其可用性也需要保障。

目前的做法是設計了一套分布式的日志處理平台,能夠在邊緣上做大量的計算和存儲,分析任務通過算子的方式在節點上進行編排,隻有不到千分之一的分析結果需要上傳中心。

大量的計算檢索都在邊緣上産生,一方面提高了效率,另一方面在成本上有非常顯著的降低,利用邊緣的空閑資源,分而治之的把全網資料進行邊緣處理,每年節約成本超過1個億。

接下裡第二個内部場景是邊緣的雲原生,邊緣之是以雲原生,是為了解決資源的使用效率,以及應用的釋出效率,能夠提供雲原生的環境,面向未來打造邊緣的技術基座。

李克認為雲原生核心是改變業務使用資源的模式,開發效率的提升。傳統的資源使用是基于實體機,所有的運維體系都是基于裝置和作業系統,即使有了虛拟化技術,也隻是在資源形态上發生了一些改變,對于釋出和運維,以及開發模式沒有本質的提升。

雲原生要做的就是實作高效的資源管理,能夠進行租戶隔離和資源的彈性生産,對外提供标準化的服務和接口,提供應用注冊、發現和編排的能力,未來的應用隻有基于了微服務,不必關系資源的彈性和運維才是真正的雲原生技術。

目前雲原生平台典型的技術有容器、微服務和服務網格,邊緣雲原生在技術上分為三層,底層是基礎的容器技術,不管是使用原始的DOCKER,還是基于K8S,需要在不同的節點和機器上提供統一的容器生産接口,并且還需要進行相關的容器存儲和網絡支援,在中心,無法使用單一的K8S叢集管理這麼大規模的伺服器和POD,是以需要分層的容器化平台,排程和控制指令能夠快速下達到每一個小的叢集。

在容器台之上,提供了MESH的應用管理能力,可以進行靈活的釋出和灰階,以及完善的資料和監控體系,整個雲原生平台,對業務來講,可以提供不同類型的計算資源,如容器、K8S、以及位置無關的SERVERLESS服務。

目前邊緣雲計算已經實作了全面的雲化,内部業務如CDN和視訊等已經基于容器進行大規模部署,資源實作了統一的池化,所有的邊緣節點都可以進行标準的POD生産,能夠分鐘級别提供超過10w的計算資源,目前在壓測場景已經大規模在使用。

接下來講2個外部的場景:

第一個是雲應用,典型例子是雲遊戲,雲遊戲的曆史也比較悠久,一直無法大規模複制,而5g和邊緣計算出現恰好彌補了資源覆寫和網絡傳輸問題,是以雲遊戲能夠更好的發展。通過雲遊戲平台,根據客戶位置和應用特性,可以選擇一個最合适邊緣節點,生産出來一個虛拟裝置,客戶直接連接配接邊緣節點,操作指令直接發送到邊緣計算節點的虛拟終端上,節點處理後再将資料通過流式的方法下發給客戶。

雲遊戲這種模式,對于雲廠商來說,能夠實作比較好的資源複用,隻有活躍的玩家才會有虛拟終端;對于遊戲廠商來說,遊戲的種類和更新可以更靈活,具備更強的競争力;對于客戶來說,終端晶片要求較低,能夠體驗更多遊戲。

基于邊緣雲的遊戲解決方案,對玩家和廠商都有較好的收益,目前雲遊戲已經在邊緣實作規模化支援,同時支援端遊和手遊的方案。

李克講述的第二個案例是在視訊領域。邊緣雲也能很好的滿足場景需求,政府、行業、商業等多類場景均有視訊需求,視訊流衆多,直接上雲高成本、品質服務保障,自建機房投入高、運維難度大。阿裡雲邊緣雲可以提供同城同區就近視訊彙聚能力,讓視訊更好的收流、存儲;實作低成本、高品質的智能分析、智能計算。

05 展望未來:标準化+開放的生态建設

阿裡雲李克:阿裡雲邊緣雲計算的技術和實踐

最後,李克表示在未來邊緣雲發展要注重兩個關鍵詞:标準化和開放生态的建設。越來越多的生态應用依賴于 “雲-邊-端” 協同,邊緣雲在這個協同中扮演的正是上下銜接的關鍵角色;需要大家在标準和開放上持續堅持,完善邊緣雲的生态。

一方面整合各種各樣的邊緣節點,從骨幹網到城域網,再到基站和廠區,都可以有邊緣的虛拟節點,建設出來一個無處不在的邊緣覆寫;另一方面基于自研的邊緣作業系統,提供分布式的融合計算網絡,實作資源的統一納管、統一排程、統一生産,對外提供統一的開放API。

李克最後總結,不管技術如何發展,場景永遠是第一位的, 4G催生了視訊行業,5G下各類新型場景正在成為現實,在低延遲、大連接配接、大流量下,一切皆有可能,當更有價值的應用出現時,邊緣雲一定要提前做好準備。

福利時間:關注阿裡雲Edge Plus公衆号,在背景回複關鍵詞“大會”,即可獲得《阿裡雲邊緣雲計算的技術和實踐》演講材料,更全面地了解議題内容

繼續閱讀