手機上的 NPU 推出了四年，時間已不算短，人工智能應用得怎麼樣了？
現在很多手機晶片上都有 AI 計算單元，每個人都可以有自己的答案。不過用華為手機的人，獲得的體驗經常比其他使用者好一點：他們的手機有更強的信号，均衡的能效比，還有融合在系統中，提供便利的各種 AI 功能。
華為的産品還支援最新 AI 算法，你也許會發現，同樣的 App 在華為手機上多了一些專屬的能力，如實時視訊超分辨率、視訊風格遷移、本地化的輸入法預測等等。
今天，人工智能不是「元宇宙」這樣遙不可及的概念，而是已被每天數億人大量使用的普遍技術，它甚至改變了很多人打開 App 的方式。
這些 AI 技術的效果超出了人們的最初想象。
用低清流量，看「高清視訊」
我們對于「視訊超分辨率」的印象，大多還停留在英偉達 GPU 對于遊戲大作的幀率加成上。自從 RTX 系列顯示卡誕生以來，深度學習超采樣技術 DLSS 大幅提升了玩家的遊戲體驗。這種技術可以通過深度學習把低分辨率圖像自動「腦補」成高分辨率，輸出 4K 分辨率的畫面時，隻需生成 1080P 的畫面再用 AI 來轉化，可以減小顯示卡負擔，提升效率。
打遊戲有這麼大的提升，在手機上看短視訊和直播能不能加入超清效果呢？HUAWEI HiAI Foundation 已經讓很多應用實作了這個能力。
「在超分辨率任務上，傳統算法需要 CPU 和 GPU 對圖像進行二次加工計算，功耗極高，效果就像是『調亮了一點』，并不明顯，」華為技術專家表示。「若想解決算力、IO、功耗等問題需要結合 HUAWEI HiAI Foundation 和 NPU 來完成。我們與很多廠商合作，在目前主流的 App 上內建了畫質增強功能。」
原畫面、AI 超分辨率算法和低分辨率 + 銳化處理的對比。
今年 3 月，在愛奇藝 App 最新釋出的版本中，愛奇藝與 HUAWEI HiAI Foundation 合作，在帶有 NPU 機型的應用上率先提供了「增強畫質」功能。該功能可讓視訊在 480P 分辨率播放過程中，保持相同流量消耗的情況下體驗到更高清品質的視覺效果。
這項功能适配了從 Nova 6 到 Mate 40 系列等多個華為機型。
開啟畫質增強功能後，480P 及以下清晰度的視訊可以秒變高清，大緻相當于 1080P 的水準。
「增強畫質」是基于愛奇藝自研超分算法部署在麒麟晶片 NPU 引擎（神經網絡處理器）和 HUAWEI HiAI Foundation 上的功能，可以在畫面輪廓清晰度、畫面通透性、色彩飽和度等方面實作明顯提升。
通過這一能力，手機可以在本地完成視訊實時增強畫質處理，在不影響幀率的情況下把清晰度提升兩倍，有效解決了視訊播放卡頓問題，在地鐵或高鐵等信号弱，網絡不流暢的場景下，也能看高清視訊。
在愛奇藝、優酷等主流視訊 App 平台上，HUAWEI HiAI Foundation 加持的超分辨率性能最高可以提升 80%，功耗最高可降低 45%。
在手機上實作異構計算
除了圖像技術，手機上還能直接跑一個完整的輸入法預測模型。譬如，在百度輸入法華為版中，其使用的 AI 算法結構複雜，但通過任務拆分，工程師們把模型推理的計算工作配置設定到 NPU 和 CPU 上進行異構計算，并進行了極緻的優化，把輸入法預測任務從雲端完全轉移到了手機上。
百度語音語義的模型技術較新，結構也很複雜，最近的很多 AI 應用都是如此。從最早的 CNN、LSTM，再到近期流行的 Transformer 結構，人們對 AI 專用計算單元的算力需求正在快速提高。另一方面，不同廠家硬體的差别明顯，AI 計算的架構也在不斷演進，如何充分利用好算力是開發者面臨的挑戰。
讓晶片上的 CPU、GPU 和 NPU 協同參與 AI 計算，是目前發展的趨勢。「在語音語義類業務上如果用異構方式運作模型推理，其性能要比單 NPU 或單 CPU 運作提升超過 40% 以上，很多業務适合通過異構方法運作，」華為技術專家表示。「NPU 善于處理 CNN 等經典神經網絡，但業界近期獲得應用的網絡類型變化較快，很多新模型使用 CPU 加 NPU 聯合計算可以獲得更高效率。」
華為提供的工具可以大幅提升 AI 算法的運作效率，快手和抖音也是以受益：兩家短視訊應用在接入 HUAWEI HiAI Foundation 後模型精度得以提高，通過充分利用算力實作了更加真實的 AI 特效，增加了業務場景。
對于應用開發者們來說，給應用接入異構計算能力并不需要訓練專用的算法，也不需要重新建構一個 App，隻需調用幾個接口就可以完成了，如果開發者使用的機器學習平台接入了 HUAWEI HiAI Foundation，這個過程甚至可以是無感的，開發者無需進行操作即可獲得麒麟晶片 AI 算力的優化。
原生 AI 加速，每天運作超 600 億次
為開發者打開新世界大門的 HUAWEI HiAI Foundation 是麒麟晶片 AI 計算能力的開放平台，其目标是全面開放 NPU 能力。它可以自動把開發者手中的 AI 模型輕量化成移動版，內建到 APP 上，并獲得手機晶片異構算力的原生優化加速。
2017 年 9 月，華為釋出了首款自帶神經網絡計算單元 NPU 的移動晶片麒麟 970。2018 年 3 月，HUAWEI HiAI Foundation 随之釋出。經過幾年發展，HUAWEI HiAI Foundation 已經從僅支援手機擴充到了全場景硬體，還可以做到一次開發多端運作。計算能力上看，則可以協同 NPU/CPU/GPU/DSP 實作異構計算，大幅提升了效率。
在 HUAWEI HiAI Foundation 的最新版本上，新增的能力主要有三個方面：提供 AI 模型性能優化快速更新的端雲協同；開放為開發者提供更多可選模型結構的 Model Zoo；還有模型量化工具包，可以快速壓縮 App 中 AI 模型的體積。
經過多代持續打磨，HUAWEI HiAI Foundation 的相容性和易用性已經相當成熟。人們熟知的鴻蒙 OS 的使用者已經超過了 1.5 億，是史上發展最快的終端作業系統。而作為麒麟晶片計算能力的開放平台，HUAWEI HiAI Foundation 的應用範圍也是前所未有 ，它現在的日調用量高達 600 億次。
相比 TensorFlow Lite GPU、Android NN 等端側 AI 計算生态，HUAWEI HiAI Foundation 已經成為了業内最流行的 AI 架構，而且領先幅度正變得越來越大。
每天百億調用量意味着海量的智慧業務正在端側應用，充分發揮了麒麟晶片的 AI 算力，為使用者帶來了前所未有的體驗。随着 AI 生态的不斷演進，技術應用的經驗也會為未來的改進打下基礎，助力下一代晶片的研發。
黑科技：端雲協同
僅僅友善開發，體驗好還不夠。與高通、聯發科等公司提出的工具相比，華為的優勢在于「端雲協同」。
深度學習算法由很多計算單元組成，我們稱這些計算單元為算子（Operator，簡稱 Op）。從廣義上講，對任何函數進行某一項操作都可以認為是一個算子。在深度學習架構中，算子對應層中的計算邏輯，例如：卷積層（Convolution Layer）中的卷積算法，是一個算子；全連接配接層（Fully-connected Layer）中的權值求和過程也是一個算子。
對于建構 AI 應用來說，算子提升了效率，然而大多數手機中的算子庫內建于系統中，加入新功能要等手機系統幾個月一次的更新，這是很多 AI 新算法難以落地的原因。
HUAWEI HiAI Foundation 選擇把算子庫放到雲端，當有新開發的算子時，隻需要對比一下舊的算子庫，把更新算子下載下傳到手機端裡就可以讓所有手機支援新技術了。這種端雲協同的方式既提高了開發者工作效率，又擴大了應用範圍，算子更新的頻率可以和 App 更新的速度同步。
相比之下，其他廠商釋出的深度學習架構，其算子更新速度通常是以年為機關的。
作為連接配接底層硬體算力和應用之間的橋梁，HUAWEI HiAI Foundation 目前支援超過 300 個通用算子，TensorFlow、PyTorch 等主流深度學習架構，國内開源深度學習平台，以及很多廠商的自用架構。硬體支援從麒麟 810 到麒麟 9000——内置華為自研 NPU 的所有晶片。
從一篇頂會論文到手機上的 App，AI 新技術的引入是一個複雜的工程化過程，需要保證性能、功能要求，進行多輪優化。由于海思和華為終端聯合運作的方式，在 HUAWEI HiAI Foundation 上晶片廠商與開發者直接進行合作，在一些關鍵問題上能真正做到效果最優，這是其他競争對手無法比拟的。
把更多 AI 搬到手機上
HUAWEI HiAI Foundation 未來的發展方向，是讓移動端 AI 模型更簡單、更安全、能效更優，構築全面開放的智慧生态，讓開發者能夠快速地利用華為強大的 AI 處理能力，為使用者提供更好的智慧應用體驗。
機器學習模型在最初的研究階段可能需要泰坦 GPU 進行訓練，A40 進行推理，谷歌能讓機器學會「閱讀了解」的 BERT 模型在剛剛釋出時體積達到了 500MB 但手機 App 上，自然語言處理模型隻有 50 到 100MB 的空間，模型必須被大幅壓縮。
HUAWEI HiAI Foundation 推出的 NAS 模型搜尋技術，能讓開發者隻需要将自己的模型、資料集作為參數送出給工具，随後就能通過自動搜尋獲得能在端側運作，效果與原模型效果相當的模型出來。該技術目前主要面向圖像識别、分類、檢測等任務，在指定任務中可以自動搜尋出效率最優的模型，且搜尋結果能夠實作在 NPU 上性能、功耗比最優。
另一方面，HUAWEI HiAI Foundation 提供的端側算力讓很多原先必須部署在雲端的算法落在了本地，所有資料形成閉環，業務資料、照片、語音資訊等敏感内容不離開使用者，保證了資料安全。越來越多的端側 AI，會持續強化這一趨勢。
未來，各類應用對 AI 的需求會越來越擁擠，華為還在繼續努力，讓麒麟晶片帶來更大價值。
2021 年，我國網民人均手機 App 安裝總量是 66 款，每人每天使用 App 的時長已超過 5.1 小時，這是一個前所未有的數字。人工智能技術帶來的便利，是手機承擔起越來越多任務的原因之一。
還記得 2017 年，華為釋出第一款帶有 NPU 的晶片麒麟 970 的時候，有很多人會問「它能做什麼？」現在，問題已經變成了「這件事，麒麟晶片能不能也來做？」
昨天人們還在開的腦洞，已經被 HUAWEI HiAI Foundation 一步步實作了。