前言
- 為什麼說邊緣計算帶來了資料、計算的根據變化？
- 邊緣AI是邊緣計算最重要的應用之一，它的挑戰是什麼？
- 一個用于邊緣計算場景的新型AI服務部署平台——Astraea是如何誕生的？
- 如何通過Astraea一鍵化部署邊緣AI服務？
近日，阿裡雲邊緣計算團隊博士後付哲的論文《Astraea: Deploy AI Services at the Edge in Elegant Ways》入選2020年IEEE邊緣計算國際會議（IEEE International Conference on Edge Computing），并在大會上進行了宣講。他和他的團隊如何看待以上問題，本文将為您解答。
邊緣計算：5G時代對雲網融合的挑戰
近年來，邊緣計算已經成為資訊和通信技術中最熱門的研究領域之一。随着5G時代的到來，越來越多的裝置連接配接到網際網路上，伴随着視訊直播、雲遊戲、VR/AR、自動駕駛等帶寬消耗和延遲敏感的應用，給雲計算帶來了巨大的挑戰。
邊緣計算支援分布式計算模式，将計算和資料資源轉移到靠近最終使用者的邊緣節點，進而為新時代的創新應用提供高帶寬、低延遲和大規模連接配接能力。
邊緣計算帶來了資料、計算分布的根本變化。5G有以下特性：eMBB（增強型移動寬帶）、uRLLC（超可靠低延遲通信）、mMTC（大規模機器類型通信）。這些特性驅動着越來越多的資料和計算從雲端轉移到邊緣。有行業報告表示：在5G時代，80%資料和計算将發生在邊緣。
邊緣 AI 是邊緣計算的重要應用之一
與此同時，邊緣人工智能越來越受到人們的關注。Gartner去年的一份報告顯示，Edge-AI正從其幼年期走向頂峰，預計将在2-5年内達到成熟期。我們時常在媒體報道中看到如下說法：邊緣人工智能是下一波人工智能，人工智能是邊緣計算中最常見的負載，人工智能是邊緣計算的殺手級應用，等等。
人工智能的思維方式與人類的思維方式非常相似。一個人從過去發生的事情中吸取教訓，進而得到終身的教訓，如果有新的問題，他/她可能會從他/她以前學到的教訓中得到解決辦法。就像人類所做的一樣，人工智能模型是從訓練資料中訓練出來的，如果有新的資料，模型就會輸出結果。第一階段稱為訓練，第二階段稱為推理。訓練和推理是人工智能的兩個主要階段。
訓練階段需要大量的計算能力，因為它需要大量的矩陣乘法和疊代，而且即使使用GPU這樣的硬體加速，對于複雜的模型通常也需要幾個小時或幾天的時間。推理階段需要相對較低的響應時間，特别是對于某些對延遲敏感的應用程式，如自動駕駛等等。推理的整個過程應該在不到1秒甚至更短的時間内完成。随着神經網絡越來越深入和複雜，海量的計算資源需求爆發，在移動裝置上進行人工智能推理變得越來越困難。
雲-邊-端計算任務解除安裝與協作
新興的邊緣計算範式帶來了一個更好的解決方案，将人工智能服務的部分計算遷移到邊緣，以緩解延遲和帶寬瓶頸。這存在兩個關鍵問題：第一個問題是是否将任務從雲或終端裝置解除安裝到邊緣，第二個問題是如何以适當的方式将任務配置設定給雲、邊緣和終端裝置。
我們設P為終端裝置、邊緣伺服器和雲伺服器的處理能力，C為計算任務量，D為需要傳輸的資料，B為終端裝置與邊緣節點或中心雲之間的帶寬。如果等式（1）成立，将計算從終端裝置遷移到邊緣伺服器可以減少響應時間。如果等式（2）成立，則将計算遷移到邊緣伺服器後的性能優于遷移到中心雲。
但是，邊緣AI依舊存在痛點和難點。主要包含以下三個方面：
難部署
•AI架構種類衆多，算法模型難以直接部署到生産環境，提供服務調用接口
•邊緣資源類型異構，不同AI服務對資源需求不同
難運維
•生産環境的 AI 服務需要支援服務生命全周期管理，包括版本更新、灰階釋出、狀态監測、自動擴縮容等等
難排程
•邊緣計算是典型的分布式系統，需要為終端使用者選擇合适的邊緣資源提供邊緣AI服務，同時在使用者體驗、算力成本和流量成本上做到最優權衡
人工智能模型的開發人員和資料科學家通常不知道或不太關心他們的模型在生産環境中是如何服務的。例如，在邊緣部署模型時，必須考慮到不同架構的AI模型需要不同的部署方式，同時也需要一個API伺服器将AI模型對外提供給終端使用者。此外，邊緣人工智能服務還需要全生命周期管理的能力，包括版本更新、灰階釋出、自動縮放等，以及靈活的排程能力，以優化使用者體驗、計算成本和流量成本之間的權衡。
Astraea的誕生
是以，阿裡雲邊緣計算團隊提出了Astraea — 一個适用于邊緣計算場景的新型AI服務部署平台，它簡化了部署階段，同時充分利用了邊緣計算的優勢。一個AI服務開發者隻需送出模型、相關調用腳本和邊緣資源需求，Astraea負責鏡像建構、資源配置設定、模型服務和狀态監測等全過程，最終提供标準的Restful API供終端裝置使用。
Astraea具有以下優點。首先，Astraea的使用者隻需要送出不到10行的模闆配置，Astraea能夠在1分鐘時間内建構映像，在5分鐘時間内完成服務邊緣部署。其次，Astraea支援Scikit learn、TensorFlow、Pythorch、ONNX等多個人工智能架構，可以一鍵化為AI服務自動生成Restful API。借助Astraea以及阿裡雲邊緣節點服務，AI服務可以下沉到距離使用者10公裡的範圍内。同時，Astraea基于阿裡雲邊緣節點服務能力實作運維自動化。
如何通過Astraea一鍵化部署邊緣AI服務
如以上視訊所示，左側是對圖像進行分類的推理示例，右側是邊緣資源需求示例檔案。使用者隻需輸入astraea build和astraea deploy指令，這個AI服務就自動部署在指定的邊緣節點上，并為使用者提供可被調用的Restful API。使用者可以友善地調用這個API來對圖像進行分類。
基于Astraea，可以實作另外一項邊緣AI服務：實時車牌檢測服務。
使用Raspberry Pi 4和相适配的攝像頭作為終端裝置，利用5G CPE提供網絡連接配接，并使用Astraea部署邊緣AI服務。由視訊可以看到，通過将推理轉移到邊緣節點，我們在Raspberry Pi 4上能夠實作幾乎實時的車牌識别能力。
Astraea項目設計和架構
模型開發人員隻需要送出三項檔案：第一個檔案是AI模型，無論它依賴于哪個機器學習架構；第二個檔案是用來表示如何調用模型以及傳回的輸出資料格式的腳本檔案；第三個檔案用來表示AI服務的元資訊（包括名稱、版本、API端口等）和邊緣計算資源的需求，包括CPU、GPU、記憶體大小和AI服務要覆寫的地理區域。
Astraea能夠自動分析送出的檔案，封裝模型并提供Restful API調用能力，建構容器映像并将其推送到邊緣容器倉庫。Astraea同時解析資源需求，并相應地在指定的邊緣節點中運作邊緣AI服務。
Astraea基于邊緣節點服務平台實作以下能力：
鏡像倉庫：作為邊緣AI鏡像的儲存倉庫，并提供鏡像分發加速能力
應用釋出：提供邊緣AI服務的一鍵部署和灰階釋出功能
監測運維：負責邊緣AI容器狀态監測和相關日志服務
關于Astraea的實驗測評
阿裡雲邊緣計算團隊通過在低性能終端裝置上實作實時對象識别服務來評估Astraea。在實驗中，選擇Raspberry Pi 4作為終端裝置，YOLOv3模型來識别圖像或視訊中的物體。模型的權重是在雲中預先訓練的，因為與邊緣節點或終端裝置相比，中心雲資料中心有更大的能力來訓練模型。同時，在實驗中，選擇了位于中國杭州的邊緣節點（配有Tesla V100 GPU）。
實驗架構：
實驗過程中，終端裝置（Raspberry Pi）捕獲圖像，調用Astraea提供的web服務API來獲得識别結果，最後将結果顯示在原始圖像上。作為比較，在第二個實驗中，我們在終端裝置處理所有目辨別别的任務。
實驗中測試了不同大小、不同分辨率下的檢測性能。如圖所示，在Raspberry Pi 4上的目辨別别時間平均為20秒左右，這對于實時目辨別别來說是無法接受的。如果使用Astraea在邊緣節點部署目辨別别服務，推理時間平均小于0.1秒。即使算上從終端裝置到邊緣節點的網絡傳輸時間，該方案平均可以節省98.5%的時間。是以，當目辨別别任務中的推理階段被解除安裝到邊緣節點時，終端使用者感覺到識别速度比終端裝置單機方案快25～110倍。此外，我們還測試了視訊中的實時目辨別别，結論是相比Raspberry Pi本身處理幀速率提升了50倍。
結論
在本項工作中，阿裡雲邊緣計算團隊提出了邊緣 AI 部署項目 Astraea，提供從 AI 算法模型到邊緣雲部署的一站式解決方案，解決模型開發者“算法落地”和“部署運維”兩方面的難題。Astraea 能夠自動化地完成 AI 服務在邊緣節點的部署，将 AI 模型的推理過程轉化為 Restful API 接口供終端使用者調用，提供低延遲時間、省帶寬、廣覆寫、易運維的邊緣 AI 服務。實驗結果表明，通過計算任務的解除安裝和協同，邊緣AI服務相較于傳統方法能夠得到25倍至110倍的性能提升。
對論文/這個項目感興趣的夥伴，歡迎聯系付哲[email protected]
點選了解阿裡雲邊緣節點服務ENS