天天看點

硬體加速的超低功耗邊緣智能,讓“雲端求助”走向本地自主化決策

作者:冠祺科技

知乎上有好事者對《西遊記》的故事線做過統計,從保護唐僧遭遇各種艱難險阻到最終取得真經,神通廣大的孫悟空一路上遇到各種危險,共求助22次,觀音菩薩和天庭諸神不斷出面幫大聖搞定各種凡間險惡。每次惡鬥不赢吃盡苦頭後,大聖總是會想法脫離妖魔圍困跳入雲端,駕着跟鬥雲去尋求各路神仙,一番口舌糾纏之後,盡管總能及時出手相助化險為夷,但師傅唐僧和師弟八戒、沙僧難免要苦熬一陣,或遭遇一番皮肉之苦。

這像極了人工智能日益普及的今天,越來越多的終端裝置依靠雲端的“大神”(中心算力)實作各種智能功能,盡管看起來友善,但其實很多場景難免面臨各種問題和潛在隐患,甚至是各種事故風險。“邊緣端裝置監測的各種資料通過網絡傳輸到雲端,不僅可能帶來很多應用場景下不能容忍的延遲問題,還可能因為隐私資料的洩露導緻嚴重的資料安全。”ADI公司資深業務經理李勇在最近的一次演講中表示。市場分析資料顯示,2020年中國邊緣計算市場規模為91億元,未來成長空間非常廣闊,預計到2030年中國邊緣計算市場規模将接近2500億元。

算力下沉亟待邊緣智能賦能多類應用場景

根據Gartner預測,2025年将有75%的資料産生在資料中心和雲之外并在邊緣側進行處理。邊緣計算在降低延遲時間、帶寬需求、保護隐私資料等多方面的價值已經被廣泛認可,在産業數智化中的應用也不斷湧現。邊緣計算作為靠近資料源頭,融合了網絡、存儲、計算與應用能力的分布式計算平台,可以對資料在本地進行實時分析處理,資料不必實時回傳至雲端,縮短延時,減少網絡帶寬資源需求,確定應用安全高效運作。

“失火而取水于海,海水雖多,火必不滅矣,遠水不救近火也。”《韓非子·說林上》上這句話,簡單二十多字說明了一個樸素而重要的道理,即使在科技發展日新月異的今天依然有其現實意義。在智能應用中,因為時間敏感性而舍雲端(遠)智能而用邊緣(近)智能的應用場景比比皆是。

例如森林火災監測,公路、鐵路或者是大壩塌方監測,這些地方都普遍比較偏僻,通常沒有很好的通信網絡,但快速決策和預警非常關鍵,是以必須進行邊緣端快速判定。“這種應用時間敏感性非常高,傳統的雲端監測,可能需要發送一組圖檔到雲端,對網絡流量要求比較高。通過監測端自主智能識别,在狀況發生時隻需要發短資訊就可以快速實作安全告警,避免更嚴重的災害損失發生。” 李勇指出。

硬體加速的超低功耗邊緣智能,讓“雲端求助”走向本地自主化決策

“這些應用除了需要邊緣端快速智能決策,對功耗敏感性也決定了需要進行邊緣端自主決策,任何一次更換電池的運維成本可能比裝置本身更貴。”李勇道出了另外一個關鍵點。邊緣智能決策的好處是避免頻繁的資料傳輸、資料采集導緻的高功耗,是以這也讓這些應用場景對邊緣智能方案的低功耗特性提出更高的要求,目前市場通用的MCU或FPGA的智能解決方案,在電池供電的低功耗邊緣端智能應用中依然面臨挑戰,市場需要更具超低功耗特性的新一代解決方案。

今年3·15晚會暴露的“行走的追蹤器”——兒童智能手表被黑客入侵成為了竊聽器;2021年,某品牌攝像頭事件數萬條家庭偷拍視訊被傳播售賣;2021年家庭物聯網Pink事件,導緻國内受控智能家居裝置超過百萬......近年來,随着具備音頻監測和視訊監測功能的智能裝置的普及,類似的資訊安全事故層出不窮。“這些智能裝置需要将邊緣端監測的資料傳到雲端進行資料處理,沒有人希望家裡有一個裝置可能随時通過畫面或語音監測你家裡活動情況,你不能确定這些音頻和圖像資料是否會被别有用心的人所利用。”李勇指出。

讓智能從雲端走向邊緣這四大核心能力不可或缺

AI技術使機器能夠以之前完全不可能的方式來觀察、聆聽和感覺世界。過去,将AI推理布置到邊緣意味着從傳感器、錄影機和麥克風收集資料,然後将資料發送到雲端實作推理算法,再将結果送回到邊緣。由于延遲和能耗較大,這種架構對于邊緣普及極具挑戰。作為替代方案,低功耗微控制器可用于實施簡單的神經網絡運算,但延遲會受到影響,且隻能在邊緣執行簡單任務,對于更加複雜的邊緣智能如何落地?ADI內建神經網絡加速器的MAX78000低功耗微控制器通過獨特的架構設計提供了新的選擇,在算力、功耗、延遲和內建度等方面實作了關鍵性能的平衡,為機器視覺、面部識别、目标檢測和分類、時序資料處理和音頻處理等應用提供了一個理想選擇。在近日由電子發燒友網和ELEXCON 2022深圳國際電子展暨嵌入式系統展、第六屆中國系統級封裝大會暨展覽聯合主辦的第三屆中國人工智能卓越創新獎頒獎典禮上,MAX78000也榮獲“最具創新價值産品”。

硬體加速的超低功耗邊緣智能,讓“雲端求助”走向本地自主化決策
硬體加速的超低功耗邊緣智能,讓“雲端求助”走向本地自主化決策

邊緣智能的典型應用場景是聲音識别和圖像識别,而衆所周知,卷積神經網絡(CNN)是廣泛重視的一種高效識别方法。卷積神經網絡以其局部權值共享的特殊結構在模式識别方面有着獨特的優越性,CNN算法在人工智能之機器學習、語音識别、文檔分析、語言檢測和圖像識别等領域等有着廣泛應用。MAX78000的核心即是神經網絡加速器,它是針對語音和圖像識别專門設計的運算加速硬體,可以最大限度地減少卷積神經網絡的功耗和延遲。

“我們看到市場上有很多邊緣智能處理器實際上隻是支援軟體的算法,而不是硬體實作加速。MAX78000采用了64個CNN處理器,并行的處理器可以支援最多的卷積預算層數和通道數。”李勇指出,“MAX78000的CNN加速器完全是專有的,而且非常新穎,它的設計目标是最小化資料移動,這是衆所周知的對晶片功耗的一個重大負擔,尤其是在處理CNN中複雜的配置時。”

硬體加速的超低功耗邊緣智能,讓“雲端求助”走向本地自主化決策
硬體加速的超低功耗邊緣智能,讓“雲端求助”走向本地自主化決策

此外,MAX78000還內建了兩個MCU核心用于系統控制,即Arm Cortex-M4處理器和32位RISC-V處理器,其中Arm Cortex-M4F處理器以100MHz運作,客戶可以編寫任何系統管理代碼,RISC-V處理器的獨特功能是支援以低功耗将資料快速加載到神經網絡加速器,使用者可使用任何一種微控制器核心将資料輸入到卷積神經網絡的引擎中。而MAX78000具有432KB的權重存儲空間,與運作在低功耗微控制器上的軟體解決方案相比,在配置并加載了資料後,MAX78000運作AI推理的速度快了100倍,功耗還不到其1%。

“低功耗是很多邊緣智能應用場景的關鍵要求,MAX78000除了基于CNN加速器和雙核處理器架構,還提供高效的片内電源管理,內建單電感多輸出 (SIMO) 開關模式電源,最大限度地延長電池供電的物聯網裝置的續航時間。”李勇表示,“很多應用需要産品內建度高、體積小,基于MCU或GPU或FPGA的方案很可能放不進去,這些方案通常還需要片外存儲器、PMIC,方案無論成本、尺寸還是功耗都具有很大挑戰性。”

硬體加速的超低功耗邊緣智能,讓“雲端求助”走向本地自主化決策

優化聲音識别和圖像識别應用聚焦邊緣智能主賽道

5G與物聯網的發展以及各行業的智能化轉型更新帶來了爆發式的資料增長,而海量的資料将在邊緣側積累,建立在邊緣的資料分析與處理将成為智能市場增長的主力。“基于雲計算的邊緣智能可能隻适合一些大企業的應用,例如幾萬個、幾十萬個客戶來支援一個伺服器,能夠支撐雲端的成本。很多基本的控制應用,邊緣端的自主智能更具成本效應,也符合隐私保護的考慮。”李勇指出。

随着資料規模的不斷擴大,雲計算在時效性、傳輸距離、安全性等方面的不足使得其在工業制造、自動駕駛、遠端醫療等場景下明顯力不從心,邊緣側的重要性日益顯現。更靠近資料源的邊緣計算不僅能提供低延遲時間、高可靠服務,還能同時保證資料安全、處理實時性。IDC預測,未來超過50%的資料需要在邊緣側進行儲存、分析和計算,這就對邊緣側的硬體系統提出了更高的要求。

邊緣智能中,聲音智能識别和圖像智能識别是其中最主要的應用領域,僅智能音箱2021年市場出貨量就達3896萬台,各種基于人臉識别的智能門禁、考勤機、閘機應用層出不窮。“基于語音與人臉識别的邊緣智能是目前市場的重要領域,ADI的MAX78000針對這類應用從産品方案到工具優化以及生态上提供了豐富的支援。”李勇表示,“智能識别資料的收集和數學模型的建立跟訓練很重要,為此ADI提供了聲音識别和face ID 識别demo程式供客戶下載下傳和學習,在其基礎上進行修改。我們也有非常有經驗的第三方生态夥伴,提供數學模型的訓練與資料的收集。”

硬體加速的超低功耗邊緣智能,讓“雲端求助”走向本地自主化決策
硬體加速的超低功耗邊緣智能,讓“雲端求助”走向本地自主化決策

據悉,MAX78000目前已經在森林防火監測、地質災害監測以及智能家居等領域獲得廣泛應用。“很多類似但并不涉及到公共安全的應用也需要實作本地快速智能決策,比如有使用者就針對摩托騎行愛好者希望在騎行中能對頭戴攝像頭實作随時随地的語音控制開發産品,類似的還有助聽器的語音控制、風力發電裝置的安全監測這樣的預測性維護等等。”李勇補充道,“這種基于超低功耗硬體算力,高內建度、小尺寸且低成本的邊緣智能解決方案的推出,正在為越來越多的應用領域提供真正可行的智能賦能方案,我們看到類似的各種創新應用正在層出不窮地推出。”

繼續閱讀