天天看點

李開複首次分享零一萬物大模型方法論,并表示十年不變現

作者:甲子光年
李開複首次分享零一萬物大模型方法論,并表示十年不變現
AI 2.0時代燒錢邏輯不再适用。

作者|趙健

5月13日,大模型初創公司零一萬物宣布了一系列大模型與産品更新:

在模型層,零一萬物釋出了千億參數的Yi-Large閉源模型,在第三方評測基準斯坦福大學的英語排行AlpacaEval 2.0上,Yi-Large與GPT-4互有第一;全面更新了開源模型系列Yi-1.5,分為34B、9B、6B三個版本,且提供了Yi-1.5-Chat微調模型可供開發者選擇。此外,零一萬物已啟動下一代Yi-XLarge MoE模型訓練,将沖擊GPT-5的性能與創新性。

李開複首次分享零一萬物大模型方法論,并表示十年不變現

斯坦福 AlpacaEval 2.0 Verified 認證模型類别,英語能力評測(2024年5月12日)

在産品層,零一萬物正式釋出了AI辦公助手「萬知」,可以讀長文檔、一鍵生成PPT,這是一個“AI-First版本的Office”。此外,零一萬物還公布了其海外生産力應用的商業化數字:總使用者接近千萬,營收今年預期過億人民币。

在API層,零一萬物API開放平台全球首發,包含Yi-Large、Yi-Large-Turbo、Yi-Medium、Yi-Medium-200K、Yi-Vision、Yi-Spark等多款模型API接口,保證客戶能夠在不同場景下都能找到最佳性能、最具成本效益的方案。

零一萬物CEO李開複博士還首次分享了零一萬物做大模型的兩個核心方法論:模基一體——模型與AI Infra并行開發;模應一體——模型與應用并行開發。目前,零一萬物是少數完整闡述其大模型戰略的公司之一。

同時,李開複博士還提出,國内大模型賽道的競跑從狂奔到長跑,終局發展将取決于各個選手如何有效達到 “TC-PMF”(Product-Market-Technology-Cost Fit,技術成本 X 産品市場契合度)。大模型從訓練到服務都很昂貴,算力緊缺是賽道的集體挑戰,行業應當共同避免陷入不理性的ofo式流血燒錢打法,讓大模型能夠用健康良性的ROI蓄能長跑。

李開複博士還提到了自己對大模型創始人變現的态度。他表示:“從我申請寫博士論文到現在,AGI是我40多年的夢想,這是推動我的主要動力。至于變現,一年前我跟投資人承諾,十年不變現。至于我的團隊,會用合理的手段實作,我覺得現在最好的方式就是上市,未來幾年我會為此努力。”

1.模基一體:計算效率才是Scaling Law的核心

零一萬物的大模型方法論,第一條是“模基共建”——模型的訓練、服務、推理設計,與底層的AI Infra架構和模型結構必須高度适配。

李開複坦言,中國大模型公司沒有美國大廠的GPU數量,是以必須采取更務實的戰術和戰略。AI Infra主要涵蓋大模型訓練和部署提供各種底層技術設施,自研AI Infra是零一萬物必然要走過的路,零一萬物也自成立起便将 AI Infra 設立為重要方向,模型團隊和AI Infra團隊高度共建,人數比為1比1。

“第一年大模型行業在卷算法,第二年大家在卷算法+Infra。在國外一線大廠,最高效訓練模型的方式是算法與Infra 共建,不僅僅關注模型架構,而是從優化底層訓練方法出發。“零一萬物模型訓練負責人黃文灏表示,“這對大模型人才的知識能力提出了全新要求。”

零一萬物非常堅信Scaling Law。從Yi系列模型的6B、34B,現在的千億模型,以及正在訓練中的萬億MoE模型的效果來看,随着參數量的變大,智能化水準有非常明顯的提升。

但這裡說的Scaling Law是針對計算的Scaling Law,而非某一個具體架構。Scaling Law遇到瓶頸了嗎?黃文灏認為從零一萬物的實踐來看還可以繼續往前走。

黃文灏表示,OpenAI提到的The Bitter Lesson,值得反複閱讀,全文背誦。The Bitter Lesson提出,在Scale up的過程中,最能夠高效使用算力的通用結構,一般會獲得比較大的成功,這跟過去的研究範式不太一樣。

過去算力比較小,大家會在模型起點上加上各種各樣的prior(先驗知識)去調優,雖然也能獲得很好的效果,但一旦Scale up之後就失效了,前面的“雕花”過程反而會影響模型變大之後的效果。是以,最簡單的模型往往才是最高效的,資料的品質和使用資料的效率、計算效率才是核心。

如果關注計算效率,大模型其實是實驗科學而非數學,不一定追求完美的理論解釋,而是通過大量的算力做實驗。這是算法與Infra聯合做優化的問題。算法的同學需要看到很底層的Infra,比如怎麼提高GPU使用率和GPU之間的通信問題,而不僅僅是用别人現有的庫調優網絡結構。

黃文灏表示:“零一萬物的所有算法同學,都可以寫到底層的CUDA算子、通信算子,這些都是必備的能力。”

歸根結底,人才是最重要的,尤其是算法、Infra和工程三位一體的人才。在這種範式下,人才的作用也被進一步放大,有一個簡單的公式是,大模型公司的上限等于“人才品質 x 算力”。黃文灏認為,算法不需要特别多的人,一般就十到二十人足矣,但會用到幾萬張卡。零一萬物是少數甚至唯一一家,從海外吸引包括谷歌、微軟在内的高水準算法人才回國加入的大模型公司。

在“模基一體”的戰略方向下,零一萬物在計算效率上取得了很大的成績。Yi-Large 訓練環節的平均 MFU(Model Flops Utilization,模型算力使用率)已顯著超越業内平均水準。綜合優化後,零一萬物千億參數模型的訓練成本同比降幅達一倍之多。

今年3月,零一萬物推出了基于全導航圖的新型向量資料庫笛卡爾(Descartes),其搜尋核心已包攬權威榜單 ANN-Benchmarks 6 項資料集評測第一名。

同樣于3月,零一萬物成功在英偉達GPU上進行了千億參數模型Yi-Large的端到端FP8訓練和推理,成為全球率先落地該技術的三個案例之一,另外兩家是谷歌與Inflection AI。

底層技術的突破帶來了優化成本的新可能。接入自研向量資料庫後,零一萬物的C端應用在保證響應速率與準确性的前提下,成本大幅降至了原用第三方向量資料庫時的18%。在端到端FP8訓練的前提下,零一萬物能夠采用技術和工程手段得到與更高精度類型相媲美的訓練結果,與此同時模型訓練所需的顯存占用、通訊帶寬都極大降低。

“模基共建”所帶來的成本優勢,為零一萬物争取到了更多時間,推出價廉物美的API和開源模型,進一步催化更多的AI-First應用生态。

2.模應一體:燒錢邏輯不再适用

大模型公司會要做端到端的産品嗎?海内外市場呈現了明顯的分野。

黃文灏分享了他的體感:海外的模型層與應用層分工會更加明确。模型層公司更加專注在基礎模型能力的提升,等将來AGI實作之後,再給整個商業生态帶來巨大的變化。如果現階段就部署應用,反而會多餘地消耗算力,其實是對創新的阻礙;另一方面,應用層的公司現在會認為大模型能力的提升還沒有帶來明顯的使用者體驗的提升。這帶來了一種比較強烈的割裂感。

在國内,基礎大模型公司同時也做AI原生的産品嘗試,幾乎已經成為了一種标配。黃文灏表示,本質原因還在于,海外公司的營收壓力相對更小,會有條件追求更大的AGI夢想,而國内公司在營收的壓力下會更加務實。

零一萬物在成立之初就決定要面向to C市場做Super App,而且是隻做AI-First的應用——沒有AI就不成立。但面對一個新興的市場,到底怎麼做?

在移動網際網路的鼎盛時期,PMF(Product-Market Fit,産品市場契合)曾是衆多初創企業追求的核心目标。然而,随着大語言模型成為新的創業焦點,僅僅追求PMF遠遠不夠。

在移動網際網路時代使用者規模增長所帶來的邊際成本很低,但在大模型時代,模型訓練和推理成本構成了每一個創業公司必須要面臨的增長陷阱。使用者增長需要優質的應用,而優質應用離不開強大的基座模型,強大基座模型的背後往往是高昂的訓練成本,接着還需要考慮随使用者規模增長的推理成本。在做産品的第一天,就需要考慮模型的成本與未來能力的增強。

“AI-First不等于AI Only,”零一萬物生産力産品負責人曹大鵬表示,“模型、工程、算法、産品要基于場景深度結合,模型長闆比對剛需高價值場景,建構AI-First工作流,追求極緻體驗、一站式解決使用者問題,而不是單純秀模型能力肌肉,拿錘子找釘子。”

業内有一些新的概念提出,比如百川智能CEO王小川就提出了TPF(Technology Product Fit,技術産品比對)。這一次,李開複博士提出了TC-PMF,引入了 Technology(技術)與 Cost(成本)。

李開複表示,技術成本 X 産品市場契合度,尤其推理成本下降是個‘移動目标’,這比傳統 PMF 難上一百倍。

李開複首次分享零一萬物大模型方法論,并表示十年不變現

去年9月開始,零一萬物便聚焦生産力、社交賽道于海外應用展開探索,已有 4 款産品陸續上線。

目前零一萬物海外生産力應用總使用者接近千萬,營收今年預期過億人民币,已實踐出大模型to C産品的TC-PMF——産品ROI為1,初步擺脫燒錢獲客,成功驗證了AI-First産品的使用者訂閱制商業模式。

此外,API也将面向海外推出Yi-Large、Yi-Large-RAG、Yi-Medium等API。在零一萬物API平台負責人藍雨川看來,已經在海外充分得到商業模式驗證的API會是更好的選擇。作為标準化産品的API複用性更強,商業模式也更趨近于雲服務。比起AI 1.0定制化重傳遞的模式,API能夠更快穿透千行百業,藍雨川表示,零一萬物提供世界第一梯隊的模型、最佳成本效益的方案,聚焦企業如何用AI為自身業務帶來增長。

由于海外市場與國内市場在付費意願、市場環境方面存在差異,目前萬知采取限時免費模式。但據曹大鵬介紹,後續萬知會結合産品發展和使用者回報推出收費模式。

TC-PMF所帶來的AI普惠點終将來臨,這一次市場競争将不再支援共享單車式的燒錢大戰,采用以資金“跑馬圈地”商業模式的企業必然會率先力竭,冷靜判斷行業發展程序,腳踏實地打磨TC-PMF 才是更符合長期主義的路線。

李開複博士表示,ofo式的補貼邏輯不再适用于AI 2.0,希望大模型賽道的競争聚焦于達成TC-PMF。零一萬物将以全球為目标市場,以更從容的姿态迎接必然被點燃的中國普惠AI市場。

(封面圖來源:零一萬物)

繼續閱讀