機器之心報道
機器之心編輯部
2022 年的手機是這個樣子：它會自動幫你整理所有消息，掃二維碼不需要解鎖，根據握持方式改變接收信号的天線，還能聽說話的聲音判斷你是否患有疾病。
從異構算力，到可以更新的 GPU 驅動，高通的手機晶片，總能引領行業的新方向。
11 月 30 日，高通釋出的全新一代骁龍 8 移動平台（骁龍 8 Gen 1）讓我們對即将推出的安卓旗艦手機有了期待，從最近解禁的跑分來看，這塊晶片 GPU 峰值性能提升了 59.7%，在 GFXBench 上分數甚至要比 iPhone 13 Pro 的 A15 還要高。
這還不是最大的，全新一代骁龍 8 可謂進行了全方位的更新，其搭載的第 7 代 AI 引擎實作了性能翻四倍的表現，提升了不止一個台階，帶來了全新的體驗。
除了展台上的工程機可以穩定 60 幀玩《原神》，在骁龍技術峰會上，人工智能的概念貫穿始終，骁龍已被打造成為了所有移動終端協同工作的核心。
多個 AI 模型同時跑
過去，App 通常同時隻會運作一到兩個神經網絡。但為了更好的體驗，我們的應用中增加了越來越多的機器學習模型，随着終端特性的發展，這些神經網絡每年又都在變得更複雜。
高通表示，第 7 代 AI 引擎可以在維持低功耗的同時搞定這些需求。
作為重要手機晶片廠商的産品，骁龍的 AI 引擎正在為 18 億人提供支援，已經實作的一些強大功能包括：在拍攝照片時，機器學習算法會自動幫助人們調整相機設定，獲得最優成像效果。AI 還能識别并了解使用者語音，并基于使用者指令完成任務。在一些品牌的手機上，系統應用甚至能夠實時将人們的對話翻譯成不同語言。
骁龍的「專用 AI 處理單元」Hexagon 處理器的情感判斷處理速度要比 CPU 快 30 倍，允許手機進行諸如 Transformer 架構模型的本地處理。
高通展示了 Hugging Face 通過自然語言處理模型 BERT 處理分析手機上所有下拉通知中的内容，AI 會分析每條資訊文字中的語氣和情緒，将其按照緊急、重要、不緊急等情形分類顯示，讓你不會錯過老闆催促的郵件。如果消息太多找不到，你還可以用語音發出指令搜素特定類型的消息。
在傳感器中樞子產品上，骁龍 8 還獨創性的加入了一枚「always on」晶片子產品，這枚功耗極低的 ISP 可關聯終端的攝像頭，帶動相機 7×24 小時全天候啟動，進而帶來一些友善和安全特性——如果探測到二維碼，手機将自動喚醒應用進行識别；在你用完手機放在桌面上時，它會自動鎖屏；如果你拿着手機，有别人越過你的肩膀偷看，手機也會自動鎖屏；又或者你想給别人分享手機螢幕主屏上的内容，這時短消息的提示橫幅會被自動隐藏。
很多人在買來手機時有一件要做的事就是把各種息屏顯示、擡手喚醒功能關掉以追求省電，不過在骁龍 8 上你不用這麼做了，新一代傳感器子產品 AI 算力提升了 75%，能耗降低了 50%。高通還承諾新的 ISP 在工作時不進行拍照或攝像，資料不出子產品單元，可確定使用者的隐私安全。
高通展示了基于第 7 代 AI 引擎的攝像頭 AI 應用。手機攝像頭支援更出色的自動對焦、自動曝光和自動白平衡調節，手勢檢測讓使用者無需按下任何按鍵即可拍照，還有基于 AI 的視訊背景虛化等特性。
背景 虛化 + 面部識别 + 姿态識别 + 手勢，多種神經網絡的效果現在已經可以同時在手機端實時完成了。
人臉上的細節也很重要。高通 Spectra 首次全面取代了構成攝影基礎的傳統算法，讓 AI 徹底接手了拍攝任務 ，其可識别人臉特征，确定拍攝對象的眼睛是否睜開，甚至是否在微笑。全新的人臉特征引擎可以檢測 300 個特征點，而且還針對更多人臉特征進行了訓練，包括眉毛、嘴唇、下颌線等。
除了對焦和特效，AI 引擎和相機引擎可以協同工作，每秒處理 32 億像素，實作更強的變焦能力。去年搭載于骁龍 888 上的「夜間模式」将大約六幀照片組合在一起形成合成圖像。而骁龍 8 的相機多幀大引擎将結合大約 30 幀，提供「五倍的夜間模式」。因為在暗光條件下有更多的像素被追蹤到，相機可以智能過濾掉因手抖引起的模糊，進而獲得更清晰的圖像。同時，人工智能還可以消除廣角鏡頭的畫面扭曲。
随後是虛拟現實技術，高通展示了 AI 變革購物體驗的新方向。通過 AR 技術，人們可以在家中布置虛拟家具、虛拟試穿運動鞋，實作更多個性化的購物體驗。這些應用都是通過高通 AI 引擎優化實作的。
在骁龍 8 移動平台上，高通還将 AI 技術融入到數據機和射頻系統中，帶來了全球首個 AI 天線調諧技術，檢測使用者握持終端時手部的位置并切換接收信号的天線，旨在實作更快資料傳輸、更佳網絡覆寫和更久電池續航。
第 7 代 AI Engine，性能能效都翻倍
這些都是如何做到的？我們知道，要想跑得起 AI 模型就需要強大的算力。在骁龍 8 移動平台的 AI 引擎上，高通實作了迄今為止最大的一次 AI 算力進步。
具體來說，第 7 代 AI 引擎包含多個低功耗的 AI 子系統，由下一代 Adreno GPU、Hexagon 處理器、Kryo CPU 和第 3 代高通傳感器中樞（Sensing Hub）組成，它們分别處理不同的計算需求。整個 SoC 的多個計算單元實作了 6TOPS 的異構算力。
在應用廣泛的一些 AI 模型上，如 inceptionv3、mobilenet_v2、Resnet50、VDSR 等，推理速度比前代 AI 引擎快 4 倍，同時 AI 運算能效比前代提升了 1.7 倍。
第 7 代 AI 引擎能夠實作如此量級的提升，很大程度上得益于新一代的 AI 軟體：除了 Hexagon 處理器張量計算性能翻倍，共享記憶體翻倍以外，其 AI 軟體性能也提升了 2 倍，現在支援了 INT8 + INT16 的混合精度計算。
更大的記憶體意味着晶片可以運作更大、更深的神經網絡，而更高的精度則可以讓算法推理的結果更加準确。開發工具上，新的神經網絡處理 SDK 更新了算子支援，Qualcomm AI Engine Direct 可直接接入移動端深度學習架構 TensorFlow Lite 和 Android NN API，友善開發者将自己的 AI 模型更快地應用在移動端。
用手機完成桌上型電腦的任務
新的 AI 技術層出不窮，要如何把機器學習模型塞進手機呢？對于工程師們來說這是一個非常有挑戰性的工作，使用 AI 技術自動來完成是一個很有前景的方向。高通和谷歌合作，将神經網絡架構搜尋（NAS）引入了骁龍平台，并已內建進第 7 代高通 AI 引擎。
正如 AutoML 的思路，高通提供的 NAS 工具 Neual Processing SDK 可以将硬體配置、工作需求（如幀數、準确度）作為參數輸入，由 AI 算法幫助工程師快速實作深度學習模型的最優設計。
AI 可以從最基礎層面開始，根據初始網絡搜尋并進行優化建構符合移動端硬體的模型。它能夠考慮時延、網絡規模、精度、功耗等目标，讓模型在手機上運作得更快，而開發者的工作時間也可以從數月縮短到數周。
骁龍是全球首個支援 Google Cloud Vertex AI NAS 的移動平台。此前，高通有關提煉最佳神經網絡架構的研究 DONNA 還被人工智能學術頂會 ICCV 2021 接收。高通希望在未來讓 NAS 功能幫助多端部署工作，讓 AI 模型快速部署至手機、筆記本電腦、VR 裝置和汽車上。
除了以上提到的技術和用例之外，骁龍 8 的 AI 引擎還能夠實作哪些黑科技？比如，高通表示他們在與 Sonde Health 合作，開發一種基于音頻識别的診斷技術，讓手機隻需要傾聽你的聲音就可以判斷是否有抑郁、哮喘等健康問題。
當然還有遊戲畫面中的超分辨率技術：
通過利用曆史幀資料和 GPU 優化運動估計，Adreno 圖像運動引擎可以讓一些遊戲的畫面以雙倍幀率運作，同時保持近乎相同的功耗。
如今全球的遊戲玩家已經超過 30 億，而手機遊戲每年的收入占比高達 52%。這其中，支援 Snapdragon Elite Gaming 的晶片組出貨量已經超過 8 億顆，高通的新技術會讓很多玩家受益。按照高通的說法，就是要讓移動遊戲玩家享受端遊級遊戲體驗。
高通和各家 OEM 廠商、科技公司僅在今年就傳遞了超過 200 個機器學習模型。未來我們還可以看到更多以往無法想象的技術在手機上出現。
開啟移動體驗的新變革，就需要最先進的技術。明年搭載骁龍 8 的旗艦手機上，性能強大，功耗降低，功能豐富的 AI 技術會給我們帶來怎樣的體驗？讓我們拭目以待。