開源大模型分水嶺：Meta釋出Llama 3 對标GPT-4

本報記者 李玉洋 上海報道

大幅領先Gemma 7B和Mistral 7B Instruct、超越了閉源的當紅的Claude 3 Sonnet、更能和谷歌Gemini Pro 1.5扳手腕……當地時間4月18日，Meta正式釋出了讓人等待已久的開源大模型Llama 3，一些基準測試結果顯示其是目前性能最強的開源模型之一。

據了解，Meta釋出了80億參數的Llama 3 8B和700億參數的Llama 3 70B兩個版本（B代表數十億，代表模型的複雜程度以及它對訓練的了解程度），其中Llama 3 8B在語言（MMLU）、知識（GPQA）、程式設計（HumanEval）、數學（GSM-8K、MATH）等能力上評測得分大幅超過Google和Mistral所開發的同級别模型，數學、程式設計能力翻倍。Meta公司首席執行官馬克·紮克伯格（Mark Zuckerberg）表示，最小的Llama 3基本上與最大的Llama 2一樣強大。

不止于此，Meta未來還将推出超過4000億參數的Llama 3版本。對此，英偉達進階研究經理Jim Fan說，這個還在訓練中的Llama 3 400B将成為開源大模型的一個分水嶺，将改變許多研究工作和創業公司的經營狀況。

“公司技術說微調Llama 3可以對标PK GPT-4。”AIGC創業者席文告訴《中國經營報》記者，雖然他自己将信将疑，但是很期待。他表示，會将Llama 3應用于銷售和營銷、人力資源管理等2B業務領域，因為“剛需高頻容易變現，也是迫在眉睫要改變的”。

功能強大的公開可用大模型

根據介紹，Llama 3的主要亮點有以下這些：基于超過15萬億token訓練，相當于Llama 2資料集的7倍還多；預訓練資料雖然主要以英語為主，但其中包含超30種語言的高品質非英語資料；支援8K長文本，改進的tokenizer具有128K token的詞彙量，可實作更好的性能；包括增強的推理和代碼能力的新能力範疇；訓練效率比Llama 2高3倍；帶有Llama Guard 2、Code Shield和CyberSec Eval 2的新版信任和安全工具等。

随後，Llama 3很快在亞馬遜AWS、Databricks、谷歌雲、Hugging Face、Kaggle、IBM的雲平台WatsonX、微軟雲Azure、英偉達的NIM和Snowflake上推出，并得到AMD、AWS、戴爾、英特爾、英偉達提供的硬體平台支援。

關于Llama 3的全方位技術詳解也跟着浮現。比如Llama 3采用了優化的自回歸Transformer架構，這種架構能夠有效提升生成文本的連貫性和相關性；結合了監督式微調（SFT）和帶人類回報的強化學習（RLHF），這種混合調優方法不僅增強了模型的幫助性，也提高了安全性，使得模型在實際應用中更加可靠和符合使用者預期。此外，為了提高Llama 3模型的推理效率，Meta還采用了分組查詢注意力（GQA）機制，在8192個tokens的序列上訓練模型，并使用掩碼確定自注意力不會跨越文檔邊界。

值得一提的是，與基礎模型一同釋出的，還有基于Llama 3的官方Web版本，名字就叫Meta AI。據Meta介紹，Llama 3将被整合到其虛拟助手Meta AI中，這是免費使用的同類産品中最先進的AI應用程式。Meta AI助手已經在Facebook、Instagram、WhatsApp和Messenger等應用中上線，随後也将迎來更新。

對于Llama 3，業界大佬對其表現點贊。OpenAI原資深研究科學家安德烈·卡帕蒂（Andrej Karpathy）認為，80億參數的Llama 3“會非常受歡迎”，效果接近參數更多的GPT-3.5，而且需要的算力低、反應快，甚至可以在手機、電腦上本地運作。

Meta AI首席科學家、圖靈獎得主Yann LeCun不僅為Llama 3的釋出搖旗呐喊，并再次預告未來幾個月将推出更多版本。就連特斯拉CEO馬斯克也現身于評論區，用一句簡潔而含蓄的“Not bad”，表達了對Llama 3的認可和期待。

研究機構Omdia人工智能首席分析師蘇廉節認為，Meta公開了Llama 3訓練資料集，還有一些資料安全的措施，這更加透明，且有助于提升使用者的信心。據了解，Llama 3 8B版本資料更新截至2023年3月，而70B版本則為同年12月。

Meta公布的基準測試結果顯示，Llama 3 8B在MMLU、GPQA、HumanEval等測試的得分遠超Google Gemma 7B和Mistral 7B Instruct；而Llama 3 70B則跻身于頂尖AI模型的行列，整體表現碾壓Claude 3大杯，與Gemini 1.5 Pro相比則是互有勝負。

不止于此，紮克伯格還表示4050億參數頂配版Llama 3将在今年晚些時候推出。 對此，JIm Fan認為即将推出的Llama 3 400B+，像是開源模型與頂尖閉源模型并駕齊驅的象征。

為開源模型扳回一城

與不開源的OpenAI相比，Meta沿着開源路線朝AGI（通用人工智能）的聖杯發起了沖鋒。手握35萬塊GPU的紮克伯格在接受The Verge的采訪時描繪了Meta的願景——緻力于打造AGI。

如今的開源模型當真是百花齊放、百家争鳴。AI寫作助手創企HyperWriteAI的CEO見到Llama 3的驚人表現忍不住感慨：“我們正在步入一個新世界，一個GPT-4級别的模型開源并且可以自由通路的世界。”

在過去的一年中，整個AI圈在圍繞開源或閉源的路線争論不休。馬斯克親自下場，通過開源Grok 1.0為開源路線站台。日前，百度創始人、董事長兼首席執行官李彥宏在Create 2024百度AI開發者大會上表示：“大家以前用開源覺得便宜，其實在大模型場景下，開源是最貴的。是以，開源模型會越來越落後。”

如今，Llama 3的到來，為開源模型扳回一局，但這場關于開源與閉源的辯論還遠未結束。“我覺得最重要的還是應用場景，目前Meta部署得相對保守，我期待看到Meta将這個部署在更多的商業應用上。”蘇廉節表示。

AI創業者劉付江告訴記者，Llama 3的釋出，意味着他們不需要花錢購買OpenAI他們的API了。“相比Llama 2，Llama 3的參數規模更大，模型架構得到優化，訓練資料更多，所支援語言增多，對話問答推理都有很大提升。初體驗下來效果比GPT-3.5強，比4.0差一點。”他表示，将在本地部署Llama 3，幫企業做大模型的中控系統，連接配接工廠工廠中的房間裡的數字化系統、ERP系統和裝置，“先試用一段時間，仍需要大量的測試”。

席文則把Llama 3的商業應用優先放在了營銷上。“AI可以幫助企業更精準地定位目标市場，提高廣告和營銷活動的效果。”他表示，因為營銷剛需高頻，且容易變現。

記者注意到，用AI将營銷全鍊條重做一遍，已是大廠共識。如果說大模型的落地，在一些領域像“拿着錘子找釘子”，那營銷領域則屬于“一堆釘子等錘子”，因為營銷中存在大量的基礎性工作，等待AI來解放。

文生圖、圖生圖、文生視訊……各種形式的AIGC，首當其沖的是制作廣告素材，近一年内，大廠們相繼推出了自己的AIGC工具，用于商家制作廣告素材。

比如，阿裡媽媽去年7月上線了“萬相實驗室”，今年3月阿裡又上線了“繪蛙”；百度去年6月推出“擎舵”；抖音去年10月推出“即創”；京東去年12月推出“京點點”；騰訊今年1月推出“妙思”。它們左手有AI大模型，右手有客戶和場景，可謂是AI營銷落地的最佳“試煉場”。

需要指出的是，雖然現在Meta已經提供了Llama 3的下載下傳方式，便于廣大開發者免費使用，但該公司更傾向于用“開放”而不是“開源”一詞來定義該模型。原因在于，Meta即便允許開發者用Llama 3開展學術研究或開發商業應用，但卻并不像使用者想象的沒有任何附加條件去使用。

換句話說，Meta禁止開發者使用該模型訓練其他生成式模型，并且要求“每月活躍使用者超過7億”的公司必須向它申請特殊許可，再由Meta自行決定是否授予這一許可。

（編輯：吳清 稽核：李正豪 校對：顔京甯）