天天看點

阿裡雲邊緣計算與雲邊端協同網絡的融合與挑戰

本文來自阿裡雲進階技術專家張毅萍(屹平)的分享原文,闡述了他對邊緣計算的了解、阿裡雲邊緣計算的布局及雲邊端三體協同網絡的融合與挑戰。

分享主要包括以下幾塊内容:

一、邊緣計算順勢而生

二、阿裡雲四層邊緣計算技術棧與挑戰

三、關于雲-邊-端協同網絡

四、邊緣計算的潛在應用場景

順勢而生:中心與邊緣、20年一輪回

在屹平看來,1999、2009和2019在中國網際網路發展曆史上非常關鍵。1999年網際網路爆發,同時也是阿裡巴巴成立的年份。随着應用中心化,邁入2009年,雲計算也逐漸被激活,2009年也是阿裡雲成立的年份,到了2019年,5G元年,邊緣計算順勢走上風口。

“從1999年網際網路初期的應用邊緣分散狀态,再到後來的應用中心化、中心雲化,再到如今邊緣計算、雲邊緣化的程序,這是一個邊緣到中心再到邊緣的輪回。那麼這其中輪回的原動力是什麼?”屹平認為:促使其輪回最重要因素是成本,計算和應用中心化,集約資源必然帶來資源的複用率提升和成本的節約,隻要資料傳輸成本夠低,計算中心化沒有任何問題,這也是過去20年網際網路發展的過程。然而,傳輸成本在網際網路應用中是不可忽略的重要成本構成之一,在音視訊類應用中尤為明顯,網際網路傳輸成本在過去20年的大幅下降,使得大量應用得以實作規模化,雲計算也有了爆發的基礎。

随着5G的到來,邊緣應用的資料量呈幾何級數上漲,這些資料都在終端形成、積累,傳送到雲端,進行資料處理,再傳回到終端指導業務。這一系列動作将對網絡帶寬産生數百Gbps每秒的超高需求,不僅會存在延遲,還需要面臨弱網卡頓、連接配接成功率低等諸多問題,使用者體驗無法保障。同時,大帶寬對回傳網絡、業務中心造成巨大傳輸壓力,也會讓企業面臨着巨額的帶寬成本。

這意味着集中式的資料存儲、處理模式将面臨難解的瓶頸和壓力。最終,成本作為關鍵因素之一,使得雲邊緣化的趨勢得以發展,集中的計算再次走向邊緣,如此就形成了這樣一個20年的輪回。

一場算力的遷徙:雲計算與邊緣計算的協同

雲計算和邊緣計算,這二者并不是此消彼長的關系,邊緣計算正在拓展雲計算的邊界。

以常見的互動直播場景舉例,大量的彈幕、刷禮物、連麥、秒殺等互動,使資料量激增,同時互動直播場景需要十分準确、快速的計算能力。如果在端上進行視訊計算,會大量消耗端的算力,對終端的性能要求很高且耗電量很大,但是将計算放在雲中心,又面臨高昂的視訊傳輸成本。

這時候,終端算力上移、雲端算力下沉,在邊緣形成算力融合,雲-邊-端三體協同的架構将會發揮重要的作用。

如此,直播平台可以根據自己業務的特點和需求,利用雲中心實作強大的算力支撐和海量存儲的支援,在雲中心統一管控下完成核心資料的處理,将部分業務下沉部署到邊緣進行終結,這相當于給雲中心增加了分布式能力,不僅能在在邊緣計算領域建立一套新的生态系統,進行本地資料的初步分析和處理,承擔部分“雲“的工作,減輕雲中心的壓力。還能減少複雜網絡中各種路由轉發和網絡裝置處理的時延,擷取到更低延時,更加能大幅減少網絡傳輸和多級轉發帶來的帶寬成本。如此一來,既能解決處理能力問題,又能優化成本的問題。

「在《邊緣雲計算技術與标準化白皮書》中也對邊緣計算(此處指邊緣雲計算)進行定義:邊緣雲計算是基于雲計算技術的核心和邊緣計算的能力,構築在邊緣基礎設施之上的雲計算平台。形成邊緣位置的計算、網絡、存儲、安全等能力全面的彈性雲平台。通過将網絡轉發、存儲、計算,智能化資料分析等工作放在邊緣處理,降低響應時延、減輕雲端壓力、降低帶寬成本,并供全網排程、算力分發等雲服務。」

面向城市的四層邊緣計算技術棧

當5G萬物智聯時代到來,城市中蘊含着巨大的計算場景,大量紮根于城市的服務比如智慧交通、智慧園區、智慧零售、智能家居等等,都會産生非常多的資料。阿裡雲邊緣計算未來主要是以地市、區縣為機關開展,面向城市服務的交通、醫療、健康、教育、新零售等場景提供算力基礎。

城市計算的技術布局,在基礎設施之上,阿裡雲邊緣計算更包含四層技術棧:邊緣硬體和晶片、邊緣計算平台、邊緣計算作業系統、邊緣中件間和面向邊緣的應用與服務。

在基礎設施層,其實是基于複雜的、異構的基礎設施進行資源拉通;在晶片/裝置方面,阿裡雲邊緣計算采用通用晶片、專用晶片和自研晶片解決未來面向場景的邊緣計算成本問題;在邊緣計算平台方面,阿裡雲着重打造邊緣作業系統,提供三種計算形态(虛機、容器、函數)和三種傳遞形态(Server、Serverlet、Serverless),為客戶營造一個利于使用的計算環境;對于邊緣中間件,阿裡雲要從原本“内容分發的排程”轉變為“計算的排程”,同時疊加AI、存儲等新技術,逐漸形成面向城市應用場景的獨特中間件能力;至于上層的邊緣應用及服務,則需要結合整個生态和垂直行業夥伴共同推動技術進步。

城市邊緣計算的四大技術挑戰

當然,在建設整個5G時代的IT基礎設施,為産業提供“離使用者更近的計算”這條前行之路上,也會遇到很多技術挑戰。

首先,是如何建構緊湊小型化計算架構以及災備體系非常重要。如果把雲計算比作一個城堡,那麼它可以通過修圍牆、排哨兵、巡邏兵去保護城堡,但是在偏遠的村莊(邊緣計算)也需要通過安全體系的建設,來抵禦外敵入侵。

其次是災備,雲計算基本上可以做到的單節點内幾十萬台機器之間做災備,邊緣節點跨節點災備系統面臨更大挑戰。

第三個挑戰是雲邊端協同的問題,把中心雲、邊緣計算以及IoT進行連接配接和計算力的協同,發揮雲中心規模化、邊緣計算本地化與低成本、IoT終端感覺等各方面的優勢,為客戶提供最合适、最經濟的“上車點”,也就是計算發生的位置。

最後一個挑戰是如何做好大規模資源平台的營運和運維支撐,将複雜度、穩定性等問題封裝,盡量實作上層業務透明化對邊緣計算來講也十分重要。邊緣計算作業系統需要把解決計算在哪裡、如何簡化計算的複雜度、如何更便捷地運維分布式計算資産等問題提前解決,客戶開發人員隻需要簡單地調用接口,就可以使用廣泛地使用邊緣計算政策,而不用擔心部署和計算在哪裡的問題。

基于場景的雲-邊-端協同網絡

上文提到,建構邊緣計算基礎設施和上層作業系統将面臨着諸多難題,如何打造雲-邊-端協同網絡就是其中的關鍵。

屹平認為:“雲-邊-端協同網絡是以雲為中心,逐層分散延伸的網絡。假設雲中心REGION在全國10數量級部署,百到千數量級的ENS節點負責廣覆寫、流量排程,萬數量級的MEC節點負責就近接入。這其中,涉及到雲邊協同、邊邊協同和邊端協同三部分。”

雲邊網絡

雲邊網絡,想要做好雲與邊之間的網絡,主要有兩個關鍵點:虛實結合、動态選路。在全國所有邊緣節點中,選擇一批分布地域較好的節點,将這些節點通過專線與雲中心連接配接,其它大部分節點是通過網際網路連接配接。同時,采取專線和網際網路鍊路的動态選擇和各種穩定性報障措施,來代替上層應用解決不同網絡形态下回雲連通性的問題。對于上層應用來說,并不需要去感覺接入節點的網絡形态。總結下來,雲邊網絡這就是回雲的安全和加速網絡。

阿裡雲邊緣計算與雲邊端協同網絡的融合與挑戰

邊邊網絡

邊邊網絡,需要保障上層應用使用的邊緣節點之間資料傳輸透明且安全。涉及兩關鍵詞,Fullmesh和安全加速。目前很多網際網路應用的資料傳輸都還是采用多層結構,即有中心層、有一個或兩個外層,然後一層一層做資料流量的收斂,如果有資料互動的話,通過中心層繞道是常見的一種方式,這種方式在技術實作上更簡單清晰,但是從成本角度考慮卻并不是合适。Fullmesh在這裡表示的就是邊邊網絡實作的邊緣節點之間的直接通訊,無需通過中心繞道;而邊邊直接通訊是基于由衆多邊緣節點建構的分布式傳輸加速網絡來克服網際網路的資料傳輸穩定性、跨營運商的傳輸速度瓶頸等問題。将這種安全加速網絡的能力與邊緣節點網絡融合,進而為上層應用提供透明的邊邊資料傳輸加速的體驗。

阿裡雲邊緣計算與雲邊端協同網絡的融合與挑戰

端邊網絡

端邊網絡,端邊網絡更注重智能排程和安全接入,本身與應用場景高度相關,這裡引用一個終端安全接入的場景來介紹。終端通過內建SDK的方式來解決安全排程問題,應用的服務接入點排程由SDK實作,應用本身不用去關心應該去通路哪一個節點,通過專門的高防節點(防DDoS)與終端SDK通訊實作排程指令的下發。假設某個邊緣節點被攻擊至無法服務時,排程實作第一時間的流量切換,同時也能根據邊緣節點持續被攻擊的來源識别出哪些是真實流量,哪些是攻擊流量,長此以往對攻擊資料的積累,能夠逐漸形成攻擊源資料庫,作為排程和安防政策的依據。每當發生攻擊時,基于攻擊源資料庫的記錄就可以更快地發現攻擊并完成流量排程。

阿裡雲邊緣計算與雲邊端協同網絡的融合與挑戰

屹平表示:“雲邊、邊邊、端邊形成了整體的雲邊端協同網絡。我們希望上層應用在使用阿裡雲邊緣計算服務作為其應用基礎設施時,盡量把網絡傳輸優化這部分的工作能夠省去,以應用透明的方式直接享受到更穩定可靠、更極速、更經濟的網絡傳輸安全加速服務。”

潛在的城市計算場景與實踐

阿裡巴巴集團擁有龐大的生态體系,業務場景豐富,基于此,雲邊端協同問題可以得到更好的實踐和解決。屹平介紹到阿裡雲邊緣計算,在算力資源層,通過自建節點和遍布全球的多樣化邊緣節點,確定資源的覆寫;在此之上的作業系統層,依托雲計算和邊緣作業系統的協同,打造基于體驗的分布式計算分發平台;頂層則通過開放API,融合視訊直播、RTC、邊緣智能、物聯網等各類生态技術能力,實作對客戶的傳遞。

阿裡雲邊緣計算與雲邊端協同網絡的融合與挑戰

未來城市中存在大量的攝像頭、傳感器,如何把這些資料及時分析,對城市治理形成幫助,這是一個非常大的命題。比如,在市政、交通場景中,把從學校、餐飲、醫院的數千萬攝像頭采集的視訊彙聚、傳輸到城市邊緣計算平台,資料在邊緣節點進行有效收斂、AI及結構化處理,關鍵性資料再回傳到中心雲。

在城市大腦中,這種計算下沉邊緣的模式相比直接上公有雲可以很好節省回源帶寬,相比專有雲可以提升傳遞效率和降低營運成本。在某些典型場景中,網絡帶寬成本占的比例是占到57%,這是非常大的成本,經過邊緣計算的資料收斂之後,帶寬可以做到原來的5%,對總成本節省可以到54%。

屹平認為:在5G萬物智聯時代真正到來之後,當傳感器、攝像頭就成為整個社會的眼睛,邊緣計算解決了時滞和帶寬成本的問題,我們就能更好地通過眼睛去識别環境、回傳資訊、智能分析,實作更智慧的城市管理。這就好像一個人,他的眼睛看到一個物體馬上可以識别出來,識别完了之後再将結構化資訊傳回大腦,邊緣計算就是如此。

阿裡雲從2017年開始基于飛天平台研發邊緣作業系統,基于CDN節點改造邊緣計算節點,在2018年4月完成錘煉,正式進行基礎設施産品化,釋出邊緣節點服務(ENS),将計算推進至100公裡的邊緣,建立了标準、安全、多租戶的邊緣計算底座,在2019年先後釋出ENS 2.0和國内首個全域覆寫的邊緣節點服務,宣布完成國内30多個省份300+邊緣計算節點的全域覆寫。2019年9月杭州雲栖大會上,阿裡雲對外公布将緻力于打造基于場景的城市計算能力,圍繞城市場景去建設邊緣計算基礎設施和靈活易用的上層作業系統。

繼續閱讀