ARM 前幾天剛釋出了 Cortex-M 家族最新一款核心 - Cortex-M55 以及首款面向 Cortex-M 系列的 microNPU - Ethos-U55。Cortex-M55 是第一款面向 AI/ML 的 Cortex-M 核心，痞子衡也專門為此寫過一篇小文 《為AI/ML而生(Cortex-M55)》，在那篇小文裡痞子衡隻是一筆帶過 Ethos-U55，未作深入探讨，今天痞子衡就跟大家好好聊聊 Ethos-U55。
大家好，我是痞子衡，是正經搞技術的痞子。今天痞子衡給大家介紹的是ARM Ethos-U55。
ARM 前幾天剛釋出了 Cortex-M 家族最新一款核心 - Cortex-M55 以及首款面向 Cortex-M 系列的 microNPU - Ethos-U55。Cortex-M55 是第一款面向 AI/ML 的 Cortex-M 核心，痞子衡也專門為此寫過一篇小文 《為AI/ML而生(Cortex-M55)》，在那篇小文裡痞子衡隻是一筆帶過 Ethos-U55，未作深入探讨，今天痞子衡就跟大家好好聊聊 Ethos-U55。
在正式介紹 Ethos-U55 之前，有必要提及一下 ARM 公司的 Project Trillium 項目，這是 ARM 公司于2018年2月推出的一套包括新的高度可擴充處理器的 Arm IP 組合以及相關配套軟體的機器學習平台。這個平台裡有你肯定不陌生的 Mali 系列 GPU 和 Arm NN 庫，以及2019年10月釋出的 Ethos-N 系列 NPU，如今 Ethos-U55 也正式加入了 Project Trillium 大軍。
那麼 Ethos-U55 到底是什麼？其實它是一種小型的專用的 microNPU 推理加速器，強大的運算能力是其最核心的特點，其性能可達 64 - 512 GOP/s（Giga Operations Per Second，每秒十億次的運算），這個運算能力秒殺 Cortex-M CPU。不過對比用在 Cortex-A 系列上的大型 NPU - Ethos-N 的 1 - 4 TOP/s 性能 （Trillion Operations Per Second，每秒萬億次的運算）還是要弱一些，是以它隻能算 microNPU，适合與 Cortex-M 搭配工作。
在神經網絡架構上 Ethos-U55 目前僅支援 TensorFlow Lite Micro，這點跟 Ethos-N 能支援的架構全家桶（TensorFlow, TensorFlow Lite, Caffe2, PyTorch, MXNet, ONNX）相比也單調一些，但畢竟是單片機 AI 嘛，第一步是先能玩起來，TensorFlow Lite 夠用了。
雖然 Ethos-U55 是同 Cortex-M55 一起釋出的，但它并不僅僅隻能用在 Cortex-M55 上，其還可以搭配 Cortex-M4/M7/M33 一起工作，隻不過 Ethos-U55 與 Cortex-M55 搭配起來效果最佳，其組合性能相比 Cortex-M7 單系統要提高 50 倍，而 ML 性能更是提升了令人瞠目結舌的 480 倍。
前面介紹了那麼多 Ethos-U55 性能，我們再來看看它是如何與 Cortex-M 一起協同工作的，且以它的最佳搭檔 Cortex-M55 為例。Ethos-U55 上設計了兩個 AXI master 接口(64bit)，其中 AXI-1 是可讀可寫的，用于通路共享 SRAM；另外 AXI-2 是隻讀的，專門用于從 NVM(flash) 裡擷取指令執行。此外 Ethos-U55 上還設計了一個 APB slave 接口，用以提供控制及配置寄存器的通路。
是以 Ethos-U55 在系統裡的工作流程是，Cortex-M55 通過 APB 接口向 Ethos-U55 發出啟動神經網絡處理指令，Ethos-U55 收到指令後通過 AXI-2 從 NVM 擷取具體指令序列指令，處理完成後 Ethos-U55 通過專門 IRQ 信号線向 Cortex-M55 發出中斷事件。
讓我們以一個典型的智能語音應用再來分析 Ethos-U55 與 Cortex-M55 協同工作機制，預設情況下 Ethos-U55 保持低功耗模式，由 Cortex-M55 來完成語音檢測以及喚醒詞識别(KWS)，一旦檢測到有效喚醒詞，這時候便可激活 Ethos-U55 完成後續語音識别(ASR)任務，以及進一步神經網絡處理去識别語義。
至此 Ethos-U55 痞子衡便介紹完了，不知道哪個 MCU 廠商會率先推出含這款 microNPU 的 MCU，不知道這款 microNPU 會和哪款 Cortex-M 核心初次搭檔，留言說出你的答案。
文章會同時釋出到我的 部落格園首頁、CSDN首頁、微信公衆号 平台上。
微信搜尋"痞子衡嵌入式"或者掃描下面二維碼，就可以在手機上第一時間看了哦。
最後歡迎關注痞子衡個人微信公衆号【痞子衡嵌入式】，一個專注嵌入式技術的公衆号，跟着痞子衡一起玩轉嵌入式。
衡傑(痞子衡)，目前就職于恩智浦MCU系統部門，擔任嵌入式系統應用工程師。
專欄内所有文章的轉載請注明出處：http://www.cnblogs.com/henjay724/
與痞子衡進一步交流或咨詢業務合作請發郵件至 [email protected]
可以關注痞子衡的Github首頁 https://github.com/JayHeng，有很多好玩的嵌入式項目。
關于專欄文章有任何疑問請直接在部落格下面留言，痞子衡會及時回複免費(劃重點)答疑。
痞子衡郵箱已被私信擠爆，技術問題不推薦私信，堅持私信請先掃碼付款(5元起步)再發。