微軟秘密開發首個千億大模型，竟由 OpenAI 對手操刀！

作者 | 華衛

Phi-3 Mini 模型釋出不到兩周，微軟又傳出了自研千億參數級别模型的消息。

自向 OpenAI 投資超 100 億美元以換取重用其人工智能模型的權利以來，微軟首次開始在内部自研全新且足夠大的人工智能模型，或能與來自谷歌、Anthropic 和 OpenAI 的最先進模型相競争。

這個新模型在内部被稱為 MAI-1，由前谷歌人工智能上司者、 AI 初創公司 Inflection 的 CEO 穆斯塔法·蘇萊曼 (Mustafa Suleyman) 負責監督。知情人士稱，MAI-1 的參數規模将遠遠大于 Phi-3 等任何微軟之前訓練過的較小的開源模型。但這意味着，它将需要更多的計算能力和訓練資料，是以成本會更高。

同時，微軟此舉表明，其現在正在人工智能領域追求“雙重軌道”，目标是開發既可以廉價地建構到應用程式中又可以在移動裝置上運作的“小語言模型”，以及更大、最先進的人工智能模型。蘋果目前似乎也正在探索類似的路徑，此前同樣也釋出了八款針對裝置使用的小型 AI 語言模型。

5000 億參數級别

最早或于本月亮相

據介紹，MAI-1 将有大約 5000 億個參數或設定，可以調整這些參數或設定以确定模型在訓練期間學習的内容。相比之下，OpenAI 的 GPT-4 有超過 1 萬億個參數，而 Meta 和 Mistral 等公司釋出的小型開源模型有 700 億個參數。

這表明，MAI-1 可以定位為 GPT-3 和 GPT-4 之間級别的一種模型，該模型将能夠提供遠遠高于 Llama 和 Mistral 等開源模型、但或低于 OpenAI 旗艦版 LLM 的響應精度。

為了訓練該模型，微軟一直在配置設定大量配備 Nvidia GPU 的伺服器，并編譯各種來源的訓練資料，包括 OpenAI 的 GPT-4 生成的文本和公共網際網路資料，還可能會使用來自 Inflection 的訓練資料和某些其他資産來支援 MAI-1。

目前，MAI-1 的确切用途尚未确定（即使在微軟内部），其最理想的用途将取決于其性能。如果該模型确實具有 5000 億個參數，那麼在消費類裝置上運作就太複雜了。這意味着，微軟很可能會在其資料中心部署 MAI-1，在這裡大語言模型可以內建到 Bing 和 Azure 等服務中。

微軟可能最早在本月晚些時候的 Build 開發者大會上，根據未來幾周取得的進展亮相 MAI-1。

MAI-1 的研發是基于 Inflection？

“盡管 MAI-1 是一種全新的、與 Inflection 之前釋出的 Pi 分開的大型語言模型 ，但其可能建立在前 Inflection 員工帶來的技術之上。”據兩名了解情況的微軟員工稱。

從 OpenAI 官網的一份聲明來看，Inflection 曾是 OpenAI 的競争對手，但它現在把業務重點從聊天機器人 Pi 轉向了向企業銷售人工智能軟體。曾擔任過各種技術職務的肖恩·懷特 (Sean White) 已加入該公司，擔任新任 CEO。

今年 3 月，微軟以 6.5 億美元收購了這家初創公司的大部分員工和知識産權，并聘請蘇萊曼來上司一個新的消費者人工智能部門。該部門将面向消費者的産品（包括微軟的 Copilot、Bing、Edge 和 GenAI）歸入一個名為 Microsoft AI 的團隊，而蘇萊曼直接向 Microsoft 首席執行官薩蒂亞·納德拉（Satya Nadella）彙報工作。

新部門标志着 Microsoft 的重大組織轉變，其網絡服務總裁 Mikhail Parakhin 将與他的整個團隊一起向蘇萊曼彙報工作。這也是微軟利用生成人工智能熱潮的最新舉措之一。

納德拉在一份聲明中說：“我認識穆斯塔法已經好幾年了，我非常欽佩他作為 DeepMind 和 Inflection 的創始人，以及一個有遠見的産品制造商和追求大膽使命的開拓團隊建設者。”

DeepMind 于 2010 年在英國成立，2014 年被谷歌以 5 億美元收購，蘇萊曼是該公司的三位創始人之一。在 DeepMind 就職時，蘇萊曼曾因員工抱怨其咄咄逼人又過于激進的管理風格引發争議，于 2019 年被迫離開 DeepMind。之後談到當時的員工投訴時，蘇萊曼回應說：“我真的搞砸了。我要求很高，而且相當無情。我設定了一些相當不合理的期望，導緻一些人的工作環境非常惡劣。我對此感到非常遺憾。”

幾個月後，他轉到谷歌總部，負責上司人工智能産品管理和政策。2022 年，他從谷歌離職，加入了矽谷風險投資公司 Greylock，并于當年晚些時候推出了 Inflection。

據悉，微軟還将聘用 Inflection 的大部分員工，Inflection 的聯合創始人兼首席科學家 Karén Simonyan 也将擔任其 AI 團隊的首席科學家。雖然微軟沒有明确調動的員勞工數，但表示其中包括人工智能工程師、研究人員和大型語言模型建構者，他們設計并共同完成了“過去五年中為推動人工智能發展做出的許多最重要貢獻”。

Inflection 的第三位聯合創始人、LinkedIn 創始人兼執行主席 Reid Hoffman 将繼續留在 Inflection 的董事會。

去年 6 月，Inflection 還完成 13 億美元的一輪融資，由微軟、英偉達和三位億萬富翁（Reid Hoffman、Bill Gates 和 Eric Schmidt）牽頭投資。當時，微軟首席技術官 Kevin Scott 還表示，“像 Inflection 這樣雄心勃勃的人工智能公司，正在憑借易于使用并展示人工智能多種可能性的變革性産品引領行業發展。”

結束語

微軟開發 MAI-1 大模型，也凸顯了其試圖獨立于 OpenAI 等人工智能廠商去探索 AI 開發的意願。

此前，微軟一直緻力于在其 Windows、Office 軟體和網絡安全工具等産品中推出人工智能助手，但多采取與外部企業合作的方式。

去年，微軟向 ChatGPT 的制造商 OpenAI 投資了 130 億美元，并将其技術快速內建到産品和數字型驗中。目前，OpenAI 的技術為微軟的許多生成式 AI 功能提供支援，包括 Azure、Copilot 和内置 Windows 的聊天機器人。

微軟還投資了其他人工智能初創公司，包括向法國人工智能初創公司 Mistral AI 投資 20 億歐元（約合 21 億美元），将 Mistral AI 的大型語言模型（LLM）在 Azure 雲計算平台上進行托管。

今後，這一切可能都會有所變化，微軟或将開始推動自研大模型在各産品中的應用。據悉，蘇萊曼上司的部門将接手把 AI 版本的 Copilot 內建到 Windows 作業系統中，以及開展增強生成式 AI 在其 Bing 搜尋引擎中的使用等項目。

“微軟正參與一場 AI 競賽”，微軟的一位 AI 工程師在前不久說，但在道德和保障方面，微軟為速度走了捷徑，匆忙推出産品而沒有充分考慮接下來會發生什麼。所有大型科技公司都可以通路大部分相同的資料，AI 領域沒有真正的護城河。

原文連結：微軟秘密開發首個千億大模型，竟由OpenAI對手操刀！網友：你不要奧特曼了？_生成式 AI_華衛_InfoQ精選文章