内容來源：華為開發者大會2021 HMS Core 6 AI技術論壇，主題演講《端雲協同，HUAWEI HiAI Foundation打造更易用的AI計算平台》。
演講嘉賓：華為海思AI技術專家
大家好！HHUAWEI HiAI Foundation作為晶片使能的基礎平台，基于“芯、端、雲”三層開放架構，構築全面開放的智慧生态，幫助開發者快速利用AI處理能力，為使用者提供更好地智慧應用體驗。充分利用華為麒麟晶片能力，HUAWEI HiAI Foundation在實時性上，避免網絡延遲和擁塞；在隐私性上，保護本地圖檔、視訊、語音資訊以及操作習慣等；在成本方面，開發者可最大化利用晶片算力，節省計算成本和帶寬成本。自2018年釋出以來，HUAWEI HiAI Foundation第三方應用的調用量逐年遞增，目前日調用量已破百億，獲得了開發者的價值認可。
HUAWEI HiAI Foundation開放架構
HUAWEI HiAI Foundation之是以受到歡迎的原因是其支撐更多主流推理架構，在引領端側AI行業标準構築的同時通過開源，讓更多開發者靈活高效地優化模型。
2021年上半年，我們已經完成了與KwaiNN、Bytenn、MNN、TNN等架構的對接。在此基礎上，HUAWEI HiAI Foundation可以支撐華為手機以及各産品線非常多的業務和應用。比如視訊剪輯、錄像直播、線上支付、地圖、輸入法等。
通過以上架構圖，我們可以看到HUAWEI HiAI Foundation作為基礎平台，主要由推理加速平台和異構計算平台兩個部分組成。推理加速平台的作用是跟更多的上層推理架構完成對接，幫助開發者聚焦模型優化；異構計算平台則更好地使能NPU、CPU、GPU、DSP等計算IP，充分利用晶片算力。之後，HUAWEI HiAI Foundation可以實作多平台統一的賦能手機、平闆、智慧屏、音箱等基于麒麟晶片的華為産品，并與HarmonyOS深度融合，在鴻蒙生态中起到端側AI能力的積極作用。
HUAWEI HiAI Foundation端雲協同方案優勢
HUAWEI HiAI Foundation上線後，我們還遇到了很多問題。比如在一個應用新特性釋出後，業務算子性能需要不斷優化并跟随手機等ROM系統版本更新推送，使得整體上線周期較長。部分機型停止支援服務（EOS）後，則無法享受最新的性能優化。由此，開發者的訴求也很明晰，就是跟随網際網路節奏，幫助業務快速釋出上線以及覆寫更多機型，囊括EOS的機型。
為解決上述典型問題及開發者對接時提出的若幹其它問題，HUAWEI HiAI Foundation今年在兩個方面進行了重大更新。一是基于端雲協同的計算庫獨立更新能力。支援計算庫動态更新，保證性能優化的算子庫更快推送至端側，同時通過插件進行模型編譯，保持更優的異構政策和高性能的融合模闆。目前，這個能力已經在HarmonyOS 2.0版本上線，滿足合作夥伴的快速業務上線需求。
二是易用性的更新。我們會提供更豐富的接口調用，更易懂的使用者手冊、Demo示範和工具包。具體來說主要包括以下四點：
- Model Zoo助力開發者快速使能NPU加速。Model Zoo綜合了硬體優化模型庫、模型優化指導以及技術交流社群的能力，通過它開發者可以快速知道哪一類模型在硬體上跑得速度更快，如何優化模型結構擷取更好的能效收益等。技術交流社群除了便于開發者參與讨論交流外，也為後續高校科研合作項目、AI技術競賽等提供基礎。
- 推出高性能、低功耗、高精度、小模型的模型調優工具。包括模型量化工具包和模型結構搜尋工具包。前者推出了16bit、8bit、4bit、2bit和自适應混合量化，模型小巧而靈動，可以保障不丢失模型計算進度。後者則更多是通過自動搜尋方式，幫助開發者結合硬體資訊調整模型結構，使之更加靈活快速。
- 異構計算——CPU、GPU、NPU等IP的高效協同。下圖列舉了一個典型的資料流。從視訊解碼器到圖像預處理，再到圖像處理、渲染優化、送顯等，經過了非常多的IP計算。那麼這些IP怎樣在較長的資料流中高效協同呢？這就需要多IP自動異構。它可以自動融合優化各計算節點，共享計算記憶體，做到多IP間資料零拷貝。另外，多IP的排程任務可以自動編排，支援優先級控制和節點間記憶體自動配置設定。
- 模型可視化——使用者模型資訊可見，提升調優效率。在模型結構可視化工具（Netron）上，開發者可以直接看到HUAWEI HiAI Foundation的模型結構，更加便利。
如今，HUAWEI HiAI Foundation已加入AI标準化組織AITISA（人工智能産業技術創新戰略聯盟），并參與端側AI标準草案撰寫，共同構築AI行業标準。為了讓開發者更好地使用端側AI能力，HUAWEI HiAI Foundation會保持初心，做更好、更易用的端側AI計算平台，服務、賦能開發者，提升應用體驗，謝謝 !
了解更多詳情>>
通路華為開發者聯盟官網
擷取開發指導文檔
華為移動服務開源倉庫位址：GitHub、Gitee
關注我們，第一時間了解 HMS Core 最新技術資訊~