MediaTek攜手阿裡雲在天玑移動平台完成通義千問大模型端側部署

2024年3月28日 ，MediaTek宣布與阿裡雲達成深度合作，雙方在天玑9300移動平台上完成通義千問大模型小尺寸版本的端側部署，該部署可适配天玑8300移動平台，可實作離線狀态下即時且精準的多輪人機對話問答。未來，雙方将攜手打造面向應用開發者和終端裝置廠商的生成式AI軟硬體生态，基于MediaTek天玑移動平台适配更多參數版本的通義大模型，共同探索面向大衆的AI智能體（AI Agent）服務場景新機遇。

MediaTek 無線通信事業部副總經理李彥輯博士表示：“阿裡雲的通義系列大模型是AI領域的佼佼者，我們期待通過雙方的合作可以為應用開發者和終端客戶提供更強大的硬體和軟體解決方案，同時促進生成式AI的端側部署以及AI應用、AI智能體生态的快速發展，為使用者帶來更多令人興奮的 AI産品體驗。”

阿裡巴巴通義實驗室業務負責人徐棟表示：“端側AI是大模型應用落地的重要場景之一，但面臨軟硬體難适配、開發環境不完備等諸多挑戰。阿裡雲與MediaTek此次合作，攻克完成了大量底層适配及上層開發的系列技術及工程難題，真正把大模型‘裝進’手機晶片中，給業界成功打樣端側AI的Model-on-Chip部署新模式。基于此，我們相信未來開發者會創造出更多新奇、實用的AI應用。”

打樣生成式AI端側部署，軟硬一體聯合優化提升效率

相較于僅在雲端部署生成式AI的應用和服務， 端雲混合AI可充分利用終端裝置的算力，在營運成本、使用者資訊安全、實時性以及個性化使用者體驗等方面具備顯著優勢。基于對行業趨勢的一緻洞察，MediaTek與阿裡雲通義實驗室開展深度合作，對在天玑移動平台終端裝置上運作的通義大模型進行适配和優化，賦能終端裝置提供更安全、快速、可靠和差異化的使用體驗。

天玑 9300內建MediaTek第七代AI處理器APU 790，APU 790内置硬體級的生成式 AI 引擎，支援終端運作 10 億、70 億、130 億、最高可達 330 億參數的 AI 大語言模型，并支援生成式 AI 模型端側“技能擴充”技術 NeuroPilot Fusion，生成式 AI 處理速度是上一代 AI 處理器的 8 倍，1 秒内可生成圖檔。此外，MediaTek 的AI開發平台NeuroPilot建構了豐富的 AI 生态，已适配全球主流的AI大模型，完整的工具鍊包含對NeuroPilot Fusion和 LoRA （低秩自适應）融合技術的支援，結合MediaTek AI系統的強勁算力，助力開發者能更快地完成模型的優化和轉化，顯著提升大模型的端側處理效率，并賦予其更加全面的能力。

通義千問是阿裡雲自研的LLM基座大模型，目前已推出千億參數的2.0版本以及開源的720億、140億、70億、40億、18億、5億參數等尺寸，以及視覺了解模型Qwen-VL、音頻大模型Qwen-Audio等多模态大模型。通義千問Qwen系列是中國市場率先開源的自研大模型，曾在10多個行業基準評測創下開源模型突出成績，并登頂全球高影響力的Hugging Face排行榜。目前，通義大模型家族已形成基礎大模型及系列行業模型的矩陣，并首批通過國家大模型标準評測，在行業專業AI大模型報告的全部11項測試中，獲得6項滿分，名列前茅。

MediaTek與阿裡雲長期保持緊密的合作夥伴關系，雙方已完成通義千問大模型小尺寸版本在天玑移動平台的端側适配，即将透過開發者生态推動該成果廣泛普及于端側AI應用中。此外，MediaTek面向開發者的模型中心和工具鍊将內建通義千問大模型系列，助力廣大開發者可以更便捷地在天玑移動平台上開發基于通義大模型的各類場景應用。

MediaTek攜手阿裡雲通義千問大模型，率先開拓AI 智能體端側應用新機遇

AI智能體是生成式大模型最激動人心的發展主線，被稱為“大模型的下一站”。基于對新機遇的一緻了解，雙方還宣布啟動聯合探索AI智能體解決方案計劃，通過整合MediaTek天玑移動平台強大的硬體和AI運算能力，以及阿裡雲通義千問先進的大模型技術和日益完善的開發工具平台，進而支援智能終端在端側高能效地實作自然語言了解、複雜決策制定以及個性化服務生成，探索打造真正具備情境感覺、自主學習和實時互動功能的下一代智能終端應用生态。

未來，通過MediaTek和阿裡雲的共同努力，使用者在家“動動嘴”說出需求，由天玑移動平台和通義大模型驅動的AI 智能體就能自動建立并最終達成任務，将智能化的夢想照進現實。同時，廣大開發者和終端裝置廠商也将由此迎來更廣闊的創新機遇。

在生成式AI浪潮下，大模型正成為新一輪科技革命和産業變革的重要驅動力量。MediaTek将持續攜手阿裡雲通義實驗室，加速終端側生成式AI的部署，聯合培育生成式AI的應用場景和生态，并共同打造面向未來的AI智能體産品體驗，更好地支援千行百業落地AI應用，讓科技惠及大衆生活。（宣紅彥）