把大模型塞進手機裡，壁壘是什麼？
作者｜田思奇
在智能科技的浪潮中，近兩年快速崛起的生成式人工智能（AI），已成為推動手機行業發展的關鍵力量。在5月7日的MediaTek 天玑開發者大會（MDDC 2024）中，聯發科董事、總經理暨營運長陳冠州表示：“生成式AI徹底革新了終端應用的使用價值，智能終端是生成式AI普及的關鍵載體。”
在晶片廠商、大模型廠商、終端廠商和應用開發者的全力推動下，一個由個性化、沉浸式體驗和無縫互動結合而成的明日圖景，正在緩緩展開。
蘋果公司CEO蒂姆·庫克在5月2日表示，預計蘋果“絕大多數裝置”都将具備生成式AI功能，并且他對蘋果在生成式AI方面的機會感到非常樂觀。不出所料，5月8日的釋出會上，蘋果将新版iPad Pro定性為“AI裝置”，還高調表示最新的M4是執行AI任務的完美晶片；
三星也在今年1月推出包含生成式AI技術的Galaxy S24系列手機。據媒體報道，四分之一Galaxy S24買家表示，AI功能是他們選擇該手機的關鍵原因。研究機構Counterpoint稱，2024 年會是生成式 AI 手機的元年。
然而這個手機行業的新興領域還面臨諸多挑戰。大模型将如何實作與手機的絲滑配合？使用者将如何直接感覺到生成式AI手機全新的功能？行業廠商該如何與開發者和合作夥伴共建智能生态，真正改善使用者的手機使用體驗？
一個根本問題也沒有得到妥善地解決：到底什麼才算是生成式AI手機？
基于這些挑戰，Counterpoint在樂觀的展望中透露一絲謹慎：聯發科聯合Counterpoint和生态夥伴在5月7日共同釋出的《生成式 AI 手機産業白皮書》中指出，2023年全年出貨的11.7億手機中，隻有不足 1%的手機滿足了 Counterpoint 對生成式 AI 手機定義。
但該報告還指出，到2027年，生成式 AI 手機滲透率将達到43%，存量規模會從 2023 年的百萬級别增長至 2027 年的 12.3 億部。
來源：《生成式 AI 手機産業白皮書》
顯然，智能手機産業鍊上下遊都需要積極擁抱變革。在向着10億台目标發展的躍遷過程中，身為手機晶片巨頭的聯發科率先給出了一套系統性的由晶片、模型、應用構成的天玑AI生态戰略，讓行業得以初見端側生成式AI生态和生成式AI手機行業的未來範式。
1.端側為什麼需要生成式AI？
自從ChatGPT爆發之後，生成式AI在雲側發展如火如荼，各種新奇的AI應用層出不窮，許多讓人拍案叫絕的案例對于行業影響甚廣。然而，在專業使用者已經憑借生成式AI實作創新時，大部分的使用者還無法真正體驗到生成式AI的創造力和便利。如何實作AI普惠成為了聯發科等移動生态先行者重點思考的課題。
而智能手機等移動終端不僅擁有最大的使用者基數，在便捷性、互動性、隐私保護以及多模态輸入輸出和情境感覺上獨具優勢，讓AI大模型和生成式AI應用在移動終端上落地，無疑是實作AI普惠的重要步驟。而智能手機作為當下最普及的智能終端，将會是端側生成式AI的首要突破口。
從可以自行安裝App，到實體鍵盤變為超大觸屏，手機在短短二十多年内發生了翻天覆地的變化。生成式AI雖然帶來了新的機遇，但要想搶占市場先機，還需要對技術趨勢的長期跟蹤與大膽跟進。
聯發科較早看到了AI行業發展對手機的必然影響。早在2015-2016年，AI上一次獲得廣泛讨論時，聯發科便開始思考端側是不是也有機會搭上這個時代的技術洪流。2017年Transformer架構橫空出世後，聯發科便決定提早布局新的算法來配合尚未出現的新應用。
聯發科技無線通信事業部副總經理李彥輯在近日與「甲子光年」等機構的交流中表示，這是聯發科對于技術投入的決心，當時就會以比較開放的心态看待未來AI的發展。
同時，端側生成式AI也的确擁有幾大優勢。聯發科無線通信事業部技術規劃總監李俊男認為這分别展現在“隐私保護”和“多模态”上：“使用者的很多東西不想上雲，但在端側即使沒有網絡的時候，大模型也可以很快地回答和互動”“使用者每天都把手機帶在身上，它有天生的多模态優勢，具有聲音，影像等最自然的互動方式”。
随着融合的深入，Counterpoint 認為，生成式 AI 技術将在智能手機上孕育出一個甚至多個智能生命體（AI Agent)，成為專屬于每個使用者的應用入口。是以，生成式AI手機可以定義為：利用大規模、預訓練的生成式AI模型，實作多模态内容生成、情境感覺，并具備不斷增強的類人能力。
顯然，由聯發科引領的生成式AI手機不僅僅是一場技術革命，更是對人機互動模式的深刻重塑，預示着智能手機将從被動響應邁向主動服務的新浪潮。
然而進入手機的大模型越大就越好嗎？
更大的模型通常意味着更高的硬體成本，同時還會影響到手機的續航能力。考慮到算力、記憶體、發熱的限制，端側需要采取與雲側不同的發展政策，并非一味追求更大的參數規模。
聯發科技無線通信事業部副總經理陳一強指出：“幾個月前20億參數的模型，已經比半年前70億參數的模型還聰明很多，它從大變成小，而能力變得更強。我們把這樣的模型搬到手機上，可能又比半年前整個AI能力提升一個等級。”他表示，在新時代剛開始的時候，用算力或具體功能去評估生成式AI手機的标準，可能不是很明确。标準定了，結果半年後就發現原來定的标準這麼低，因為生成式AI的進展太快了。
是以，聯發科更側重定性的分析，并且願意跟所有的生态廠商一起合作，讓生成式AI手機的概念真正落地，通過一系列先進的硬體、軟體和工具，探索更适合端側的技術路線，把生成式AI手機所帶來的體驗構想變成現實，讓AI普惠使用者。
2.以晶片、模型、應用的天玑AI戰略建構端側AI生态
聯發科所做的這些準備，已經在5月7日舉行的MediaTek 天玑開發者大會（MDDC 2024）上亮相。會上，聯發科公布了最新的天玑9300+旗艦5G生成式AI移動晶片。該晶片采用全大核CPU架構，率先在端側支援AI推測解碼加速技術，同時支援天玑AI LoRA Fusion 2.0技術，提供更高效和個性化的生成式AI體驗。
并且天玑9300+支援前沿主流的生成式AI大模型，可為使用者提供文字、圖像、音樂等端側生成式 AI 多模态創新體驗。同時，還支援AI架構ExecuTorch，可加速端側生成式AI應用的開發程序。
值得一提的是，MDDC 2024期間，為了讓開發者在終端上更加高效、便捷地開發生成式AI應用，加速建構涵蓋全場景的生成式AI應用生态，聯發科還聯合阿裡雲、百川智能、傳音、零一萬物、OPPO、榮耀、vivo、小米啟動“天玑AI先鋒計劃”，助力開發者在搭載天玑晶片的終端裝置上打造創新的使用者體驗。
對于具體執行規劃， 李彥輯表示，先鋒計劃包含兩部分，第一個環節和一些模型、OEM廠商合作；再者就是跟所有App開發廠商探索在硬體基礎上開發新的應用。
為什麼選中上文提到的這些大模型廠商作為合作夥伴？針對「甲子光年」在MDDC 2024現場提出的疑問，聯發科技無線通信事業部生态發展資深總監章立回應稱，在生态開放的基礎上，對大模型确實會有一些衡量和考慮：
第一，我們會看大模型的主營業務或者它的場景是to B還是to C。我們還是相信生成式AI很快會進入到消費級市場，我們的業務很重要的層面也是手機業務，是以對于大模型廠商，我們對做消費者業務或者他自己本身有App或者有自己營運C端能力的大模型會更加重視。
第二，我們會考慮開源的影響力。因為開源可以更加開放地擁抱整個生态，對我們來講，開源的大模型我們合作起來也會更加順暢。
最重要的标準，對大模型的選擇，本質上是決定于這些模型能不能在終端上發揮端側的能力，打造創新的使用者體驗。
同時，對于在端側部署大模型，大模型廠商和開發者面臨的難題主要有兩大類，一是運作有沒有效率，耗電量多少或者速度夠不夠快；二是記憶體占用可能過高。但聯發科提供的一系列解決方案允許大模型廠商和應用開發者都享有可以實際落地、友善而且快速的開發方式。
例如聯發科推出的“天玑AI開發套件”包括快速高效的GenAI最佳實踐、覆寫全球主流大模型的GenAI Model Hub、高效提升性能的GenAI優化技術和Neuron Studio 一站式視覺化開發環境等四大子產品，為廣大開發者提供“快、全、強、易”的專業開發體驗，賦能終端生成式AI應用開發全流程。
目前，天玑AI開發套件已覆寫智能手機、智能汽車、物聯網、個人電腦等智能終端裝置，為全場景生成式AI應用開發賦能。
李俊男向「甲子光年」表示，“光是把這麼大的模型，比如7B、13B的模型，裝到手機這麼小的裝置裡，就是很大的挑戰，是以必須通過Neuron Studio這一套工具做好壓縮，做出最佳和最小的網絡結構，提供給開發者比較好的開發效率。”
「甲子光年」在大會現場注意到，Neuron Studio 為開發者獨創了一套高度內建、一站式、可視化的AI應用開發工具，開發者在這一套工具内即可完成模型修改、編譯、平台試運作、一鍵終端部署等開發工作，同時可視化界面也可以快速完成Bug定位，運作性能分析等工作，讓開發端側生成式AI應用更容易、更高效。
同時，“天玑AI開發套件”中的GenAI最佳實踐已認證模型量化、模型編譯和模型推理技術提高了大模型的終端部署速度，可從數周加速到一天。
此外，GenAI Model Hub可以适配行業前沿主流的大模型，為開發者高效建構生成式AI應用提供豐富的大模型資源。天玑AI開發套件還支援推測解碼加速、LoRA Fusion等先進的GenAI優化技術。
章立表示，尊重開發者的需求，讓聯發科的所有服務向開發者的需求去靠攏，最終面向的是使用者體驗，這是其制勝的重要途徑。
章立還強調，未來一段時間，生成式AI和晶片是強相關。（百川智能創始人）王小川講過，做搜狗的時候從來不見晶片公司，做了大模型以後不得不見。開發者做到生成式AI的深度技術創新時，離不開晶片公司的支援。大家都在不同的層次上，保障未來創新的使用者體驗。
在生成式AI加速革新移動生态的大背景下，聯發科與大模型廠商深度合作，并為開發者提供完善、高效的解決方案，不斷地根據開發者需求做改進，表現出聯發科對整個開發者生态的重視和擁抱，聯發科對于引領移動生态抓住生成式AI機遇、建構新應用生态并為使用者創造新價值的決心顯而易見。
3.先行一步，用AI和遊戲革新移動應用生态
在極度内卷的手機行業，App開發者一度陷入無所适從的境地。在既定的規則裡，競争關系和流量都已形成穩定的業态，沒有太多創新機會可循。
生成式AI帶來了新的機會，整個生态正在加速關聯。陳一強對「甲子光年」等機構表示，從晶片的底層到系統、模型再到應用，這是一個很長的鍊路。是以聯發科特别重視跟遊戲和一些頭部廠商的合作：
遊戲是AI最好的實作場景，因為它是獨立完整的場景，可以提供更多試錯的空間，它也是一種娛樂内容，有豐富的想象空間，現在AI完全可以滿足這個需求。
MDDC 2024上，聯發科也公布了天玑遊戲技術即星速引擎的全面更新。借助自适應技術軟體開發套件和硬體光線追蹤技術，星速引擎可以通過精準的性能、功耗管理、光線追蹤效果優化、網絡品質監測等關鍵技術，助力遊戲開發者為使用者打造畫面更逼真、流暢，觸控和網絡響應速度更快，續航更持久的全優體驗。
“之前我們對天玑遊戲體驗的思考方向就是對晶片能力的持續提升。而現在最根本的改變是我們開始更多地擁抱生态夥伴。我們發現遊戲開發者以前不知道原來晶片可以提供這麼多能力，” 陳一強表示。是以聯發科正在認真傾聽開發者和重要遊戲廠商對晶片能力的需求，把技術面向全部的開發生态，與開發者一起開發出更好的遊戲。
當然在其他細分賽道上，聯發科也都會給予養分和土壤，讓廣大開發者通過生成式AI找到自己的創新領域，并逐漸培育未來的爆款App。
目前，聯發科已攜手阿裡雲通義千問 、Cocos、Honor of Kings、虎牙直播、酷狗音樂、美圖、全民K歌、RWKV、Soul、騰訊AI Lab、小紅書等數十家生态夥伴共同打造了諸多體驗創新的端側生成式AI應用。
「甲子光年」在MDDC 2024現場看到，多款視訊GAI特效已經借由天玑移動平台實作落地。AI歌聲、AI作曲，歌詞生圖等端側生成式 AI 應用也愈發成熟，這些應用将讓使用者深刻感受到生成式AI帶來的全新互動體驗，以前在電影中夢幻般的未來智能場景，正借由天玑所建構的AI應用生态向我們走來。
章立表示：“如果一個技術本身它能帶來創新的使用者體驗，就不用擔心是否會出現爆品，結果是一定會出現。”
的确，聯發科以天玑移動AI生态為端側AI技術和應用創新提供土壤，為爆款應用的出現打好了基石。我們有理由期待生成式AI手機為使用者帶來的體驗革新。
至于如何惠及更多智能手機使用者，李彥輯指出，去年底的天玑8300就是第一個輕旗艦能夠支援生成式AI的移動平台，這在Redmi的手機上也已落地。不止旗艦，聯發科也将持續在輕旗艦檔次提供更好的AIGC的能力：
“我們想借由旗艦與輕旗艦能力的提升，以及我們提供的工具去賦能開發者，我相信未來的某一天也遲早會普及到更多的終端應用上面。”李彥輯表示。
得益于 AI 大模型的賦能，以及全面的天玑AI生态戰略，智能終端和智能手機的移動生态已進入全新的發展階段。這意味着聯發科不僅推動了生成式AI技術在端側加速落地，而且為整個智能手機行業的創新程序提供了強有力的支援。同時，聯發科與生态夥伴共同定義的“生成式AI手機”為市場規劃了清晰的革新路線。
特别值得關注的是，作為移動生态的引領者和主導者，聯發科天玑面向開發者需求和使用者體驗的系統布局，預示着未來生成式AI手機将更加智能化、個性化。相信全球40億智能手機使用者，很快就能開啟全新的智能生活時代。
參考資料：
《生成式 AI 手機産業白皮書》，Counterpoint
《Consumers embracing AI on their smartphones》，《Mobile Europe》
（封面圖及未做說明的圖檔 均來自MediaTek 天玑開發者大會（MDDC 2024））