資料源：天風證券；作者：潘暕
Ferret UI 提升互動能力，AI 助力蘋果開啟更新新周期
Ferret UI 通過任意分割 UI 界面實作全貌、細節捕捉，有望颠覆傳統 UI 互動方式
Ferret-UI 是一個為移動 UI 定做的大模型（MLLM），具備圖檔識别、定位和推理功能，有望通過整合于 agent 使使用者直接互動操作手機，颠覆 UI 互動方式。Ferret UI 建立于 Ferret 多模态模型基礎上，通過圖像編碼器、空間感覺的視覺采樣器和語言模型（LLM）架構實作圖檔精準了解與定位，并內建了"any resolution"(任意分辨率)技術靈活适應各種螢幕縱橫比并捕捉細節。通過基礎、進階分級訓練，Ferret UI 得以具備基本的定位和了解 UI 元件能力以及進階的 AI 互動推理能力。在與市場主流大模型的綜合基準測試中，Ferret UI 在除“查找文本”外的所有初級 UI 任務上超越了 GPT-4V，在iPhone 端進階 UI 任務的平均得分與 GPT-4V 非常相近，并具備一定的不同作業系統之間的遷移能力。
Ferret UI 催化 iPhone 規模出貨、有望驅動更新周期，AI 手機拉動上遊價值量提升
類比 5G，AI 因其軟硬體要求帶來較高硬體承接需求，現有手機配置或難以支援 AI 應用，2023 年全球智能手機出貨量下降背景下，AI 的高需求或将引領新的換機熱潮，催化 iPhone 出貨提高；除此之外，AI 将帶來繼功能手機向智能手機轉變後最大的使用者互動變革，顯著改變市場規模，加快産品更新速度，手機市場格局快速變化下投資者或将面臨 AI 驅動的 iPhone 新更新周期。同時 AI 手機對 CPU、存儲、無線通信、高頻高速 PCB 等軟硬體帶來更高的要求，我們認為 AI 與手機結合将為上遊産業注入新動能、推動潛在市場空間增長。
1. Ferret UI 通過任意分割 UI 界面實作全貌、細節捕捉，有望颠覆傳統 UI 互動方式
Ferret-UI 是一個為 AI 手機定做的新大模型（MLLM），以 Ferret 多模型為基礎。Ferret-UI吸收了 Ferret 模型在圖像定位、了解上的優勢，并在此基礎上通過“任意分辨率”技術通過任意分割UI界面适應手機的各種橫縱比并放大細節，做到将原有優勢運用到手機UI上。
通過進行初級/進階的分級訓練，Ferret-UI 得以完成圖示識别、文本搜尋等基礎任務乃至互動對話、功能推理等複雜任務。最終 Ferret-UI 能夠較好的識别手機應用的界面。并将自然語言翻譯為界面操作點。這意味着 Ferret UI 有望颠覆傳統 UI 互動方式。
将 Ferret UI 與傳統 agent（如 Siri）深入整合，使用者預計可以直接通過與 AI 互動操作手機。Agent 定義為以大模型為大腦驅動，能自動化執行完成複雜任務的系統。其基礎架構可以簡單劃分為 Agent=大模型+規劃技能+記憶+工具使用，其中 Ferret-UI 扮演了 Agent的“大腦”，在這個系統中提供推理、規劃等能力。與廣為人知的 Chatgpt 相比，Agent多了實際去做的行動能力。在蘋果系統中 Siri 即為典型的 agent，如果将 Ferret UI 功能整合在 Siri 上，使用者就可以通過自然語言與手機互動控制手機系統和 App 的功能，如語音控制 Siri 直接打開外賣 App 下訂單。
1.1. Ferret 模型圖像了解和定位方面優勢顯著，“任意分辨率”技術分割子圖像深度了解手機 UI
Ferret 模型能準确了解、定位并描述圖像中的具體内容，無論這些内容呈現的形狀和位置如何。在這個模型裡，蘋果提出了一個有着圖像編碼器、空間感覺的視覺采樣器和語言模型（LLM）的新架構。圖像編碼器處理圖像輸入，空間感覺的視覺采樣器采取類似處理 3D點雲的方法有效地提取不規則形狀區域的視覺特征。二者通過結合區域的坐标資訊和視覺采樣擷取的特征實作了一種混合區域表示方法，提高了對圖像中不同形狀區域的定位與了解能力。最終通過語言模型結合文本引用來了解、描述圖像。使用者可以基于畫面中具體的區域與大模型展開更深入的對話。
“任意分辨率”技術實作 UI 界面全貌、細節捕捉，Ferret 模型優勢得以運用于手機。過往大模型因難以适應螢幕橫縱比和細節不足問題難以了解手機 UI。Ferret UI 在 Ferret 模型基礎上內建了“任意分辨率（any resolution）”技術來靈活适應各種螢幕縱橫比、放大細節并利用增強的視覺特征。該技術加入了額外的細粒度圖像特征，其原理是“用放大鏡分别觀察”：1）将 UI 界面分割成子圖像，以更好地捕捉 UI 界面的細節特征。2）預訓練過的圖像編碼器和投影層為整個螢幕和分割出來的所有子圖像單獨編碼，并形成圖像特征。
對于具有區域引用的文本，視覺采樣器會生成相應的區域連續特征。3）最後統一被輸入到大語言模型（LLM），LLM 利用全圖表示、子圖表示、區域特征和文本嵌入來生成響應。
1.2. Ferret UI 較市場主流大模型互動水準有較大提升，初級任務表現優異
Ferret UI 幾乎所有初級任務超越 GPT-4V，進階任務平均得分與 GPT-4V 非常相近。蘋果的團隊比較了 Ferret-UI 和 GPT-4V 在所有 UI 任務上的性能：1）簡單任務中，無論安卓/蘋果系統，除了“查找文本”任務，Ferret-UI 在包括 OCR（圖示識别）、查找元件等的所有任務超過了 GPT-4V。2）進階任務中，蘋果系統下，在較長的描述、感覺對話、互動對話和功能推斷任務 Ferret-UI 展現了與 GPT-4V 相當的性能，并且在較長的描述、功能推斷任務上超過了 GPT-4V。值得注意的是，Ferret-UI 的訓練資料集不包含特定的安卓資料，但它在安卓平台的進階任務上仍表現出可觀的性能，表明模型具有不同作業系統間的 UI 知識遷移能力。
2. Ferret UI 有望驅動 iPhone 更新周期，引領規模出貨
AI 運用預計催化 iPhone 出貨提高，換機潮下投資者或将面臨 AI 驅動的 iPhone 新更新周期。AI 技術帶來的革新可類比于 5G：1）需要硬體承接，引發換機潮。AI 在硬軟體對手機配置有了更高要求，現有手機配置或難支援 AI 使用。IDC 資料顯示 2023 年全球智能手機出貨量同比下降 3.2%，Canalys 預測對于 AI 能力的需求有望刺激新一輪的換機潮，進而帶動 iPhone 規模出貨。2）帶動新一輪更新周期。AI 将帶來繼功能手機向智能手機轉變後最大的使用者互動變革，顯著改變市場規模，加快更新速度。截至當地時間 4 月 11 日收盤，據科技記者 Mark Gurman 透露 M4 晶片重點提升 AI 能力後，蘋果股價出現近來罕見的飙升，大幅收漲 4.3%，市值一夜暴漲 8113 億人民币。
“AI+手機”已獲市場消費者認可，Ferret UI 或将成為關鍵技術助推蘋果布局 AI 手機市場。
AI 成為手機行業“兵家必争”之地，三星等品牌已取得一定成績。2024 年 1 月，三星率先在新釋出的 S24 系列手機中引入全新“Galaxy AI”功能，帶來功能與使用者體驗的提升：1）在語音通話方面基于 AI 與原生通話應用程式，實作通話實時翻譯；2）在短信寫作等方面寫作助手協助使用者根據不同場景選擇語言風格，同時 AI 翻譯為使用者提供 AI文本翻譯支援；
3）在筆記方面，“Galaxy AI”的應用同樣幫助三星筆記的筆記助手以及轉錄助手分别實作智能筆記摘要生成以及語音文本轉換等功能；4）除此之外 AI 賦能下 S24 系列首創的“即圈即搜”功能以使用者手勢激發搜尋功能，為線上搜尋帶來曆史性的變革。IDC 統計資料顯示，相較于 2023 年第四季度，在“Galaxy AI”助力下，2024 年 Q1 三星系列手機全球出貨量由2023Q4 的 5310 萬部顯著提升至 6010 萬台，市場佔有率由 16.8%上升至 20.8%，排名重新上升至首位。以三星系列手機出貨量的顯著上升作為證明，AI 模型與手機的結合獲得了市場消費者的廣泛認可，這表明 Ferret UI 與蘋果 iPhone 系列手機的結合将同樣受到市場青睐。
Ferret UI 昭示了蘋果對于 iPhone 手機進階互動控制的探索可能性，以及蘋果對于重新定義AI 時代手機的企圖心。距離 6 月份的蘋果 WWDC 開發者大會剩下不到 2 個月，看好蘋果在AI 手機領域的進展。
AI 手機對軟硬體需求提高，換機潮有望帶動相關上遊産業進入增長新周期。AI 與手機結合所帶來的高需求覆寫手機的各個組成部分：1）計算方面 AI 手機的高算力要求推動 CPU設計思路轉向全大核方案；2）存儲方面大模型對高速、大容量提出新需求；3）WiFi7 等新技術的産生有望滿足 AI 對于資料傳輸的較高要求，對于高頻高速 PCB 的需求同樣應運而生；4）而散熱方面 AI 手機對電磁屏蔽以及散熱的要求顯著上升；5）AI 與手機的結合對于電池續航與健康管理同樣産生更高的要求。
以存儲為例：1）存儲有望從“價格”步入“價值”周期。2019-2023 年存儲經曆了供過于求到超跌這一輪周期變化，以減産控産告終。看好 AI 技術應用激發存儲潛能，走出傳統價格周期進入新價值周期。2）存儲漲價建立信心，為新周期做準備。根據閃存市場資料，NAND 價值已有 80%漲幅，DRAM 價值相對底部也有超 30%漲幅，預計國産模組産品漲價趨勢年内具有較好持續性。3）AI 模型本地化，更大的存儲容量和帶寬為大勢所趨，同時考慮到資料安全問題，國産存儲廠商重要性凸顯。AI 手機将為産業鍊注入增長新動能，推動潛在市場空間增長。
3. 建議關注
雲端 AI 相關企業：寒武紀、海光資訊、龍芯中科、紫光國微、複旦微電、安路科技等。
邊/終端 AI 相關企業：瑞芯微、晶晨股份、恒玄科技、全志科技、樂鑫科技、富瀚微、中科藍訊、炬芯科技、兆易創新、中穎電子、芯海科技等。
存儲相關企業：江波龍、瀾起科技、聚辰股份、北京君正、普冉股份、東芯股份、佰維存儲等。
AI 應用端相關企業：工業富聯、大華股份、海康威視等。
4. 潛在風險
下遊需求不如預期：下遊市場需求如發生重大不利變化，或影響産品推廣使市場規模下滑。
庫存去化不如預期：如出現不可預測的市場需求的較大變化，導緻市場需求出現下降，則可能出現一定的存貨風險。
研發與技術更新不如預期：随着産品換代、技術更新、使用者需求和市場競争狀況不斷演變，AI 相關産品研發及技術更新換代不如預期或影響整體産業發展。
宏觀環境變動帶來的風險：受貿易政策、宏觀經濟形勢等因素影響，全球經濟和半導體産業發展注入了新的不确定性和風險。