天天看點

AI周報 | MiniMax 釋出萬億參數模型;首個AI程式員Devin被質疑造假

作者:第一财經

MiniMax 釋出萬億參數模型

4月17日,稀宇科技MiniMax宣布推出abab 6.5系列模型。abab 6.5系列包含兩個模型:abab 6.5和abab 6.5s。據介紹,abab 6.5包含萬億參數,支援200k tokens的上下文長度;abab 6.5s跟abab 6.5使用了同樣的訓練技術和資料,但是更高效,支援200k tokens的上下文長度,可以1秒内處理近3萬字的文本。在各類核心能力測試中,abab 6.5開始接近GPT-4、Claude-3、Gemini-1.5等大語言模型。

MiniMax此次發文提到,在更新至萬億參數的過程中,找到了越來越多加速實作Scaling Laws(尺度定律)的途徑,包括改進模型架構,重構資料 pipeline,訓練算法及并行訓練政策優化等,此次釋出的 abab 6.5 和 abab 6.5s 就是加速 Scaling Laws 過程的階段性成果。

點評:要把模型做大不是一件簡單的事情。在MiniMax之前,階躍星辰是國内第一個對外公開萬億參數模型的創業公司,不過當時釋出的是預覽版。在萬億參數規模上,根據階躍星辰資料,至少需要等效 A800 萬卡單一叢集,高效穩定的訓練,十萬億tokens 高品質的資料,加上駕馭新穎的MoE 架構,任何一環出現短闆,就很難将模型提升至萬億參數,業内隻有極少數公司能做到。

Meta或開源4000億參數模型

當地時間4月18日,Meta釋出了Llama 3開源大模型,包括Llama 3 8B和Llama 3 70B。據Meta稱,Llama 3是迄今為止功能最強的開源LLM(大語言模型)。Meta同時透露,目前其最大參數模型已超400B(4000億)參數,但還在訓練。業界認為Llama 3超4000億參數版本後續可能開源。英偉達科學家Jim Fan表示,即将推出的Llama 3 400+B将意味着開源社群獲得GPT-4級别的模型開放權重通路,這将是一個分水嶺時刻,将改變許多研究工作和初創公司的發展方式。

點評:Llama 3 8B和Llama 3 70B推出後,不少業界人士期待後續可能開源的超4000億參數版本。Jim Fan提取了Claude 3 Opus、GPT-4 Turbo、Gemini Ultra 1.0、Gemini Pro 1.5 、Llama 3 400+B早期Checkpoint(檢查點)的多項基準得分發現,Llama 3 400+B多項得分低于但已接近GPT-4和Claude 3 Opus。阿裡雲首席智能科學家丁險峰認為,開源的Llama 3有如安卓,一夜之間打掉所有閉源手機作業系統:PalmOS、Windows mobile、symbian,偉大的時代要來臨了。不難看出業界對大模型開源的期待,開源潮流湧動或也對閉源的OpenAI造成更大壓力。

首個AI程式員Devin被質疑造假

Cognition Labs今年3月釋出AI程式設計産品Devin,Devin有全球首位AI程式員之稱。Cognition官網釋出的示範視訊裡,Devin隻需一句指令,就能端到端地處理整個開發項目,還可以按照使用者需求同時執行多步驟工作流程。近日有網絡部落客複現了Devin的示範視訊并提出質疑,包括Devin所展示的程式設計能力存在一定欺騙性,Devin在操作過程中雖然看似修複了許多問題,但這些問題很多是Devin“自導自演”。

點評:Cognition Labs團隊共10人,此前已獲得Founders Fund基金領投的2100萬美元A輪融資。該網絡部落客表示,他并非反對AI,而是想譴責Devin團隊的炒作行為。雖然AI能否真的作為“程式員”完成人類的所有工作仍有讨論空間,但AI在代碼生成方面已在輔助人類程式員。百度27%代碼由智能代碼助手生成,此前“通義靈碼”新員工則入職阿裡雲,阿裡雲相關負責人不久前表示,未來20%的代碼将由通義靈碼編寫。

内嵌個人智能體,聯想連發10餘款AI PC

4月18日,聯想釋出了10餘款AI PC并用“元啟版”來統一稱呼,涵蓋聯想ThinkPad、ThinkBook、YOGA、小新等産品線,針對個人消費者及商業使用者多場景AI需求,價格最低的小新Pro16 AI元啟為5999元。同時,AI PC個人智能體“聯想小天”也正式亮相,目前相關AI應用包括AI畫師、AI PPT、文檔總結、知識問答、AI識圖、會議紀要等等。和過去的PC不同,AI PC的五個特征包括内嵌個人大模型與使用者自然互動的智能體,個人知識庫,本地異構AI算力(CPU/GPU、NPU),開放的人工智能應用生态,個人資料和隐私安全保護。聯想中國區總裁劉軍透露,聯想将持續投入、加速發展天禧、萬全和擎天三個生态,聯合産業頭部生态夥伴發起籌備産業生态聯盟,打造普惠的AI終端生态産品、算力系統和企業智能體及行業智能體解決方案。

點評:在PC行業去庫存進入尾聲、正在重回增長軌道的當下,AI PC對于PC行業的整體帶動尤為重要。與此同時,AI PC在技術創新、成本控制、生态建設、使用者市場教育等方面仍需時間。業界預計,在2024年出貨的PC中,AI PC占比将會接近五分之一(20%)。到2027年,得益于換機動能和全新本地體驗,這一比例将迅速增長到60%以上。比起消費者,企業将更積極地采用AI技術。到2027年,AI PC出貨量的60%将應用到商用領域。

百度文心大模型推理成本降至原來的1%

百度召開Create百度AI開發者大會,百度創始人、董事長兼首席執行官李彥宏介紹了近一年來的進展:文心大模型算法訓練效率提升至原來的5.1倍,周均訓練有效率達98.8%,推理性能提升105倍,推理成本降到原來的1%。目前文心大模型使用者資料超2億、API日均調用量超2億、服務客戶達8.5萬、利用千帆平台開發的AI原生應用數超19萬。李彥宏還透露,百度每天新增代碼中,有27%由智能代碼助手Comate自動生成,該代碼助手基于文心大模型。

點評:一年前,百度成為國内最早入局大模型的科技廠商之一。一年後,文心大模型變強,市場環境也在變化。大模型賽道出現了月之暗面等備受關注的創業企業,大模型開源也形成另一股力量。李彥宏在此次會上還表示,一些特定場景中,經過精調後的小模型使用效率可以達到大模型的效果。通過基礎模型降維裁剪出的模型,比直接拿開源調出來的模型,同等尺寸下效果更好,同等效果下成本更低。在大模型場景下,開源是最貴的。對于閉源比開源好的觀點,李彥宏依然堅持。

波士頓動力推全新電動Atlas人形機器人

就在波士頓動力(Boston Dynamics)釋出《再見,液壓Atlas》視訊,宣告液壓驅動雙足人形機器人Atlas退役的後一天,4月18日,波士頓動力推出了一款全新的純電動人形機器人。新的Atlas機器人在設計上與以往版本不同,擁有更輕巧的機械骨架和更靈活的動作,如可以從地面自行站立,頭部可以180度旋轉,其靈活性确實無與倫比。且電動Atlas機器人比前身更具科技感,外觀更輕便、簡潔,頭部設計為功能性圓形螢幕,沒有人臉特征。在Atlas的新視訊放出後,短短十幾小時内,就已經有一百多萬觀看。

波士頓動力介紹,新一代的Atlas基于數十年研究積累的成果,“我們從未忘記打造目前工業中最強大、最實用的移動機器人以解決最棘手問題的承諾。”波士頓動力希望通過新版Atlas機器人證明,人形外形并不會限制機器人的雙足移動能力。

點評:波士頓動力是人形機器人領域當之無愧的探索者和領先者,其研發的液驅Atlas是世界首個能後空翻的人形機器人。如今波士頓動力從液壓向電驅的轉變,某種程度上是機器人行業一個時代的結束,預示着更為實用和經濟的機器人技術時代到來。此前有行業人士告訴第一财經,雖然液壓驅動力更強,但其動辄上百萬的成本并不是商業落地最好的選擇,如今随着電驅技術的逐漸進步,電驅方案的機器人越來越成為主流,如重視落地的特斯拉的擎天柱(Optimus)就選擇了這一方案。從液壓驅動到電驅,是Atlas機器人走向實際應用的重要一步。

伊以沖突或影響以色列半導體産業

據新華社消息,當地時間14日淩晨,伊朗伊斯蘭革命衛隊開始對以色列目标發動大規模飛彈和無人機襲擊。随後伊朗常駐聯合國代表團在社交媒體上稱,伊朗對以色列的攻擊“可以被視為已經結束”。以色列坐落着英偉達、英特爾、高通等目前在發力AI的多家半導體公司研發中心,此外,以色列近年湧現出不少半導體創業企業,包括Habana、Mobileye、Mellanox等。這些企業被半導體巨頭收購後,成為這些巨頭發力AI的着力點。英特爾等半導體巨頭還未公開回應受伊以沖突的影響。

點評:多家被半導體巨頭收購的以色列晶片企業,為半導體巨頭撐起一片新天地。英特爾最近推出的Gaudi 3 AI晶片來自Habana團隊,Mobileye則是最早應用于自動駕駛的AI晶片之一,收購網絡技術供應商Mellanox則是英偉達布局高速網絡的一筆重要收購,撐起了後來英偉達的高性能叢集計算。有半導體分析人士認為,以色列當地晶片制造産能有限,當地較多的晶片設計公司或部門受沖突影響理應較小。以色列半導體産業形成偏重晶片設計的特點也與所處環境有關,不太适合需要環境穩定、供應鍊完善的半導體制造業。

昆侖萬維開源4000億參數模型

4月17日,昆侖萬維在其官方公衆号宣布,開源4000億參數的大模型天工3.0,這超越了馬斯克此前開源的3140億參數的Grok-1,是全球最大的開源MoE(混合專家模型)大模型。昆侖萬維提到,在MMBench等多項權威多模态測評結果中,天工3.0超越GPT-4V。天工3.0在語義了解、邏輯推理、通用性、泛化性、不确定性知識、學習能力等領域擁有突破性的性能提升。

此外,在“天工”大模型一周年之際,昆侖萬維還宣布“天工SkyMusic”音樂大模型正式開啟公測。官方表示,“天工SkyMusic”是中國首個音樂SOTA模型,綜合性能超越Suno V3。

點評:在開源模型參數方面,上一次破紀錄的更新是3月18日,馬斯克旗下大模型公司 xAI 在官網宣布開源 3140 億參數的大模型Grok-1。不過此前開源大模型中影響力較大的還是 Meta開源的Llama 2,雖然隻有700億參數。對于開源圈的密集更新,有業内人士對第一财經表示,大家競争會越來越激烈,好現象是大家是良性競争。不過參數越大,消耗越大,競争其實就是錢的競争。此外,大模型并非參數越大越好,也要看資料品質,“沒資料沒有意義”。

微軟宣布向阿聯酋AI巨頭投資 15 億美元

當地時間4月15日,微軟宣布向阿拉伯聯合酋長國人工智能公司G42投資15億美元(約合人民币109億元)。根據合作協定,微軟總裁布拉德·史密斯(Brad Smith)将加入G42董事會,而G42将使用微軟的Azure雲來開發其人工智能應用。此次投資使微軟獲得了G42的少數股權。此外,兩家公司将建立一個10億美元的基金,以提高阿聯酋及更廣泛地區的人工智能技能。微軟稱合作顯著推進了 G42 為金融服務、醫療保健、能源、政府和教育領域一系列客戶提供生成式 AI、下一代基礎設施和服務的戰略。

點評:G42是一家成立于2018年的人工智能和雲計算公司,總部位于阿布紮比,業務涵蓋從雲計算到無人駕駛汽車等各個領域。自2018年成立以來,G42已與OpenAI、戴爾、IBM、微軟、英偉達、甲骨文等大公司建立了合作夥伴關系。今年2月,G42出售在TikTok母公司位元組跳動等中國公司的股份,撤出其所有在華投資。

百川智能回應新一輪融資消息報道:存在誤差

近期,有媒體報道稱,由王小川創立的百川智能進行新一輪數億美元融資,将成為國内2024年最大AI領域融資之一。報道稱來自參與的投資人證明,百川智能今年以來估值已超18億美元(約130億元)。對此,4月16日,百川智能方面回應稱,報道存在一定誤差,将在适當的時候向公衆披露準确的融資資訊。

點評:此前百川智能估值約12億美元,若融資落實,百川智能将成為又一個估值超百億元的明星獨角獸公司。2023年3月,王小川聯合前搜狗COO、清華1998級校友茹立雲創立百川智能,成立之初王小川就獲得5000萬美元啟動資金,随後百川智能再獲得由騰訊、小米、金山、清華控股、好未來、深創投、紅點中國、順為資本等十餘家聯合投資的3億美元融資,2024年1月,百川智能釋出超千億參數大模型Baichuan 3,并表示在中文任務上超越了GPT-4。

AI 學者李飛飛團隊釋出《2024 年人工智能指數報告》

近日由華裔女科學家李飛飛聯合上司的斯坦福大學以人為本 AI 研究所(Stanford HAI)釋出了《2024 年人工智能指數報告》。報告追蹤了 2023 年全球 AI 發展的十大趨勢:AI 在某些任務上勝過人類,但并非在所有任務上;比起學術界,産業界繼續主導人工智能前沿研究;前沿 AI 模型将更加昂貴,OpenAI的GPT-4使用了價值約7800萬美元的算力進行訓練,而谷歌的Gemini Ultra花費了1.91億美元的算力;美國成為頂級 AI 模型主要來源國,2023年,61款著名人工智能模型來自美國機構,數量遠遠超過歐盟的21款和中國的15款。對于大語言模型,可靠和标準化的責任評估缺失;生成式 AI 投資激增;AI 比打勞工更有生産力,工作品質更高;AI 推動科學進步加速;美國 AI 法規數量急劇增加;人們對 AI 潛在影響認識更深刻,也更加焦慮。

點評: 雖然全球對人工智能的私人投資連續第二年減少,但對生成式人工智能的投資卻急劇上升。财富 500 強企業财報電話會議中提及人工智能的次數比以往任何時候都多,而且新的研究表明,人工智能明顯提高了打勞工的生産率。Stanford HAI 研究項目主任 Vanessa Parli 表示,“我認為最令人興奮的人工智能研究優勢是将這些大型語言模型與機器人或智能體(agent)相結合,這标志着機器人在現實世界中更有效地工作邁出了重要一步。”

法國AI獨角獸Mistral AI尋求新一輪融資

據媒體援引知情人士的消息報道,法國人工智能獨角獸公司Mistral AI正在與投資者接洽,希望以50億美元的估值再進行一輪數億美元的融資。Mistral AI成立于2023年5月,三位創始人曾在谷歌Deepmind和Meta平台任職,目前被視為OpenAI的競争對手之一。這家公司于今年2月推出了與GPT-4競争的Mistral Large模型,并先後腳獲得了微軟的投資。

去年12月,Mistral AI籌集了4.15億美元,當時的投資者包括賽富時和英偉達,融資完成後,Mistral的估值達到了20億歐元。今年2月,微軟向Mistral投資了1600萬美元,雙方随即開展了合作,微軟宣布将向其Azure雲服務的客戶提供Mistral AI的最新模型。此前Mistral的主要投資者還有安德森霍茨基金(Andreessen Horowitz)、光速創投(Lightspeed Venture Partners)等。

點評:AI初創公司能進行連續多輪融資,反映了投資者對AI市場的重視和看好,願意押注潛在的高增長公司。與此同時,燒錢的大模型初創公司也需要大量融資續命,以支撐創新和激烈的競争,而作為行業對标對象的OpenAI,也在面臨更大的壓力。

“聯想系”大模型公司諾谛智能完成近億元融資

4月16日,專注于“AI+制造”的行業大模型及應用企業諾谛智能宣布正式完成Pre-A輪融資,本輪融資由武嶽峰科創領投,三葉蟲創投、清智資本跟投,聯想集團追加投資,共計融資金額近億元。據悉,本輪融資主要用于諾谛支點行業大模型面向行業機理的持續疊代與優化,“AI+制造”場景解決方案的持續打磨與市場拓展,以及優秀人才的引進。

諾谛智能成立于2021年10月,為聯想集團孵化的人工智能企業。創始人胡長建為聯想研究院人工智能實驗室(AI Lab)進階總監,曾帶領團隊在2017年研發了應用于聯想移動海外服務的AI對話系統MOLI。聯想集團進階副總裁、首席技術官、諾谛智能董事長芮勇博士表示,未來,諾谛智能将繼續保持獨立營運與發展,直至上市;但上市不是目的,更重要的是将自身打造成一個引領時代的AI企業與事業。

點評:在大模型出現後,各行各業都有了被重塑的可能,不止一位行業人士曾對第一财經表示,國内獨有的制造業基礎,是大模型探索落地中一塊合适的土壤。官方推文中,清華大學智能産業研究院院長助理、清智資本創始合夥人張煜也提到,制造業作為國民經濟的重要支柱,其智能化水準提升對經濟發展具有重要意義,清智資本長期關注和支援AI同制造業的結合。

調查稱智算資料中心能耗大幅提升

市場調研機構IDC釋出《中國半年度液冷伺服器市場(2023全年)跟蹤》,該報告顯示, 2023全年中國液冷伺服器市場規模達到15.5億美元,與2022年相比增長52.6%。預計2023-2028年,中國液冷伺服器市場年複合增長率将達到45.8%,2028年市場規模将達到102億美元。随着中國人工智能企業群組織對智算中心的建設要求、算力供給需求越來越高,此類資料中心的IT裝置能耗大幅上升,更加需要高效的冷卻系統來維持适宜的操作溫度。

點評:近期關于AI功耗高的話題備受關注,功耗高導緻的一個問題就是溫度過高,這是液冷伺服器市場增長的背景。IDC報告顯示,網際網路行業依然是2023年中國液冷伺服器市場最大買家,占整體46.3%市場佔有率,且有望在未來幾年持續加大液冷伺服器的采購力度。IDC中國伺服器市場研究經理辛一認為,面對日益增長的資料浪潮,智算和通用計算都需要大量高功耗晶片提供必要的算力服務,伺服器廠商與國内人工智能晶片企業展開合作,積極尋求适合本土異構計算的液冷解決方案。

(本文來自第一财經)

繼續閱讀