出品 | 子彈财經
作者 | 語叔
編輯 | 閃電
美編 | 倩倩
稽核 | 頌文
英偉達暴跌了。
4月19日一開盤，英偉達遭遇2024年以來最大規模的股票恐慌性抛售，最終出現股價下跌10%，市值消失1.5萬億人民币的悲劇。
更關鍵的是，海外部分AI玩家燒不起錢了，尤其是那些基于llama 2和3開源模型的公司，用的transformer架構，成本太貴。再加上一些悄悄研發自己大模型的廠商（比如蘋果）也開始撤出。這些資訊的疊加，引發機構投資者對完全依靠資源堆積的大模型發展模式感到擔憂，最終導緻英偉達股價下跌。
富國銀行分析師萊恩.克裡對外表示，英偉達出現恐慌式抛售不奇怪，“資本市場在進入2024年後，其實一直對AI硬體股票小心謹慎。原因在于大家覺得一方面他們估值過高，另一方面其實是目前主流的幾家大模型，都沒有找到可持續的變現途徑，支撐不起龐大且長期不變的硬體投入。”
實際上，這已經成為資本市場的共同認知。是以，對于這幾家AI硬體龍頭股票，機構投資者在進入2024年後，都視作是一場“擊鼓傳花”遊戲。
當然，資本也開始對新的技術模式展開探讨，比如MoE專家網絡以及去二次方大模型架構等等。尤其是MoE，因為技術的可持續性，被認為是下階段大模型發展破局的突破口，資金開始瘋狂進入。
于是，行業産生一系列問題需要回答：這到底是怎麼發生的？大模型還有未來嗎？未來又在哪裡？MoE是什麼？誰能代表MoE扛起AI大旗？
1、巨頭的無奈
為什麼大家開始認為以英偉達算力晶片為核心的AI硬體，變成擊鼓傳花的遊戲？原因就在于英偉達每更新一個版本，其相關晶片的價格就會暴漲幾倍。
英偉達A100算力晶片在中國市場備受矚目，2021年上市後大規模出口中國，成為AI和大模型應用的基礎算力。初期定價為3000-5000美元，随後價格上漲至8000美元。
2022年底，美國禁令限制向中國出口A100，導緻定制版A800價格飙升至10000美元以上。英偉達随後釋出的H100晶片起售價接近2萬美元，而GB200晶片組起售價在3-4萬美元。
在國外社交媒體上，有人戲稱英偉達“技術進步以漲價為本”。
其實英偉達有自己的無奈，中國市場頂峰時曾占英偉達1/4的份額，目前因為政治因素已經下降到不到4%，這中間巨大的市場缺失不得不通過新産品漲價來彌補。
但不斷上漲的算力晶片價格，也讓那些開發大模型的網際網路巨頭開始吃不消。
當下最主要的這些網際網路巨頭推出的模型，大部分使用的都是transformer模型架構。而這個架構是2017年由Google團隊在論文《Attention Is All You Need》中提出以來，已成為自然語言處理（NLP）領域的核心技術之一。
這個架構有很多好處，但最大的缺點就是必須不斷投入大量的運算資源，以支撐模型的訓練和對外提供服務。紐約時報曾爆料，OpenAI支撐ChatGPT對外提供服務，需要使用3萬塊英偉達A100的算卡，而且每天的耗電超過50萬度。
想想都覺得可怕。
英偉達一直在尋求解決方案以降低網際網路巨頭使用Transformer模型訓練和推理的成本。黃仁勳表示，英偉達的晶片進化正是為此目的。随着算力晶片性能的提升，成本有望進一步下降。
問題是由于巨頭間的激烈競争，模型訓練和推理能力需持續增強，這推動了英偉達最新算卡出貨量的大幅增長。
另一方面，無論是引領潮流的OpenAI與ChatGPT，還是Meta、谷歌、馬斯克推出的開源大模型，都未找到穩定的商業化道路。
OpenAI在推出GPT4之前，據說每月收入不足成本的1/3。面臨商業模式不清晰、收入無法覆寫成本的困境，以及英偉達年年漲價的事實，網際網路巨頭管理層開始反思這種以資源投入和算卡堆砌推動模型發展的模式。
2、MoE成為解題關鍵
對于這些推出大模型服務的網際網路科技巨頭來說，想解決英偉達算卡漲價帶來的成本支出不可持續問題，有兩個解決方向。
一個是自研算力晶片。近年來，多家科技巨頭如微軟、OpenAI、Meta、馬斯克，以及谷歌和亞馬遜等，均宣布了自研晶片計劃或已制作出樣片。然而，自研算力晶片需要進行後期對接效果調整，并擺脫英偉達的CUDA重新制作中間層，這導緻時間成本難以估量。
是以，另一個解題方向就被他們異常重視，希望通過改變模型底層架構，換一種不耗費那麼多資源就可以達到很好訓練和推理效果的模型架構，來開發自己的大模型。
而在矽谷，确實有這麼一種模型架構在這兩年被人不斷提起，甚至在很多中小模型開發方的實踐中，得到了印證。
這就是MoE。
其實在更早一些的時間，MoE一直被應用于統計學的研究中。這是一種機器學習模型架構，它将多個專家（Experts）模型組合起來，共同解決一個問題。每個專家都是一個小型的神經網絡，它們各自擅長處理任務的某一方面。當MoE模型接到一個任務時，它會将任務配置設定給最合适的專家，最後通過一個門控網絡彙總專家的輸出，給出最終答案。
這就像一家公司有多個部門，在做決策的時候，公司的CEO可以聽從市場部、生産部、策劃部甚至财務部相關專業上司的建議，最終産生最優的決策。
由于這種架構營運的核心，實際上是将大任務分成小任務，日常的訓練也是針對于各個小神經網絡的專家進行，是以他所需要的推理和訓練資源遠遠低于整體運算的transformer架構。
關鍵在于這種架構對技術的了解和使用，切分任務和找到關鍵神經細分網絡并訓練專家模型是該架構成功的核心，這需要強大的技術實力。相較于不斷增長的硬體投入，這種軟性投入對大模型開發者來說更可接受。此外，MoE架構的特點有利于新興大模型企業的發展壯大，因為它們可以通過技術了解和發展來突破現有巨頭的硬體護城河。
正因為這樣的一個特點，MoE開始成為大模型破局的關鍵。
3、國内其實一點也不慢
MoE作為統計學架構早在1997年就被提出，真正落實到自然語音學習是2018年以後的事情。
但由于這個架構有幾個比較困難的訓練難點，比如結果可能拟合，這意味着模型最終結果可能隻是因為特定因素影響造成而無法廣泛使用；再比如最後門框網絡的采用過程中，有可能偏愛幾個細分專家模型，而不能從整體的專家模型結果中獲得結論等等。
是以，哪怕谷歌在研究中有了相應進展，MoE相對于Transformer架構，在模型發展的廣泛性上遠遠不如。
真正讓MoE模型架構照進現實的，是一篇2023年6月名為《MoE Meets Instruction Tuning》的論文。這篇論文提出了幾種假設和相應的解決方案，從技術可行性上解決了MoE非常難以控制的特點。
MoE模型架構逐漸受到關注，成為許多新興模型研發方的選擇。2023年12月8日，Mistra AI在X平台釋出了首個開源MoE模型，引起行業震動。與此同時，國内模型研發團隊也迅速跟進，MiniMax宣布将于2024年年初釋出基于MoE架構的大模型，新旦智能、元象科技等也相繼加入，推動了MoE在國内的快速發展。
而業内普遍認同的MoE在中國發展标志事件，是今年2月6日，昆侖萬維正式釋出新版MoE大語言模型“天工2.0”與新版“天工AI智能助手”APP。這是國内首個搭載MoE架構并面向全體C端使用者免費開放的千億級參數大語言模型AI應用。
其實，昆侖萬維是國内最早投入精力研究MoE模型架構的平台公司。
這種一手抓技術，一手抓應用的模式，對于MoE模型架構在中國的普及才是最有意義的。畢竟任何一種新的技術，無論有多炸裂，隻有大量的應用才能對于産業，以及人們的生活帶來新的價值。
而很多時候有新價值産生，是衡量一個技術能否持續發展的關鍵。
2024年4月17日，昆侖萬維重磅宣布，“天工3.0”正式開啟公測。
“天工3.0”是采用4千億級參數MoE混合專家模型的全球領先模型之一，并将開源。行業内現在一緻認為，在國内MoE模型的排名裡，昆侖萬維的天工是第一位，位元組豆包第二， Minimax第三。
*文中配圖來自：攝圖網，基于VRF協定。