【摘要】 IoT裝置中嵌入AI能力實作産品的智能更新，已經是AIoT行業發展的重要通道，那怎樣才能實作AIoT = AI + IoT呢？如何将AI模型塞到小小的IoT裝置裡，讓它可以輕松運作起來呢？成為了AI開發者遇到的棘手難題。
你知道我們生活中常見的物聯網智能裝置融合AI技術後，會給我們帶來什麼樣的智能互動體驗？在我們指尖觸碰的那一刹那背後隐藏的代碼世界又是怎麼樣的呢？
今天就來和大家說說IoT智能裝置輕松實作AI的奧秘!
AIoT，對我們來說已經不是一個陌生的詞彙了，随着深度學習的蓬勃發展和5G萬物互聯時代的到來，越來越多的人将AI與IoT結合到一起，而 AIoT已經成為傳統行業智能化更新的最佳通道，是物聯網發展的必然趨勢。
AI和IoT互相交融産生的魔力，讓許多智能産品及智能應用成為無窮想象的“潛力股”。比如智能音箱中的語音喚醒，家庭監控裡的人臉識别，可穿戴裝置上的AI計步等等，已經驗證物聯網産品融入人工智能，更新成了智能裝置後的“威力”。
很多AI開發者開發者在訓練得到AI模型之後，必須得在裝置上實作模型的推理才能獲得相應的AI能力，但目前AI模型不能直接在裝置上運作起來。這就意味着，開發者還得有一套對應的推理架構才能真正實作AI與IoT裝置的結合。
另外，目前深度學習雖然可以在很多領域超越傳統算法，不過真正用到實際産品中卻要面臨計算量大，記憶體占用高，算法延時長的問題，而IoT裝置又往往有算力低、記憶體小及實時性要求高的特點。是以針對IoT資源受限的問題，AI模型的壓縮及性能優化是AI模型在部署過程中必須解決的難點。
IoT裝置中嵌入AI能力實作産品的智能更新，已經是AIoT行業發展的重要通道，那怎樣才能實作AIoT = AI + IoT呢？如何将AI模型塞到小小的IoT裝置裡，讓它可以輕松運作起來呢？成為了AI開發者遇到的棘手難題。
LiteOS輕量級AI推理架構LiteAI，從模型轉換、優化及執行三個方面向開發者呈現如何在IoT裝置上實作AI模型的推理全流程，并結合智能裝置AI開發的案例，展示AI部署全過程。
針對IoT裝置記憶體空間小的問題，LiteAI應用了模型量化技術，将模型參數從32比特浮點量化到8比特定點，實作75%模型壓縮；實作更合理的記憶體管理算法，最大化記憶體複用率，絕大部分場景下達到記憶體使用下限值；提供模型壓縮及聚類算法供開發者選擇，進一步減少記憶體占用。
LiteAI采用算子融合、SIMD指令加速、循環分支細化及Cache分塊等技術手段，優化AI網絡算子性能，加速模型推理，充分發揮ARM CPU算力。
LiteAI推理引擎純C語言實作，無第三方依賴，極為适合IoT産品部署；采用代碼化模型執行函數設計，僅編譯連結有用算子，完全剔除其他所有無用算子，基本無備援代碼，實作代碼段空間占用最小化。
為了能讓大家對于LiteAI有一個更深的認知，我們還準備了一堂專家線上直播課，詳細解讀IoT智能裝置裡的AI奧秘，如何利用華為LiteAI OS作業系統進行AIOT開發。觀看直播，聽聽專家怎麼說IoT智能裝置裡的AI奧秘
點選關注，第一時間了解華為雲新鮮技術~
