天天看點

複旦MOSS大模型開源了!Github和Hugging Face同時上線

豐色 蕭箫 發自 凹非寺

量子位 | 公衆号 QbitAI

複旦大模型MOSS,正式開源了!

作為國内首個開放測試的類ChatGPT産品,MOSS開源位址一放出,又沖上知乎熱搜:

複旦MOSS大模型開源了!Github和Hugging Face同時上線

從官網介紹來看,MOSS是一個擁有160億參數的開源對話語言模型。

它由約7000億中英文及代碼單詞預訓練得到,精度要求不那麼高的話,甚至可以在單張3090顯示卡上運作。

MOSS支援中英雙語,擁有多輪對話和使用多種插件雙重能力,具備搜尋引擎、文生圖、電腦、方程求解的“技能點”。

複旦MOSS大模型開源了!Github和Hugging Face同時上線

目前,MOSS在GitHub上已有2.3k Star,熱度還在持續上漲中。

複旦MOSS大模型開源了!Github和Hugging Face同時上線

那麼,MOSS究竟開源了哪些項目,目前有哪些功能?一起來看看。

會解方程,也能生成圖檔

據了解,這次MOSS開源的是第三輪疊代版本,名叫MOSS 003。

當然,MOSS 003也并非開源了全部模型,目前主要開放的是基座預訓練模型,最終模型即将在近期開源:

複旦MOSS大模型開源了!Github和Hugging Face同時上線

此前,MOSS已經經曆了兩版疊代,一版是公開邀請内測的MOSS 002版本,另一版是内部測試版本OpenChat 001。

三月份大夥兒見證的“國内首個開放測試的ChatGPT”,正是MOSS 002版本。

最新這個版本展現的功能效果如何?

MOSS團隊放出了它多輪對話、解方程、寫代碼、生成圖檔和回答道德倫理等示例。

這是多輪對話的展示效果,具備資料追根溯源的能力:

複旦MOSS大模型開源了!Github和Hugging Face同時上線

這是做數學題的示例,包括雞兔同籠問題:

複旦MOSS大模型開源了!Github和Hugging Face同時上線

也包括生成圖檔功能:

複旦MOSS大模型開源了!Github和Hugging Face同時上線

還有近期網友熱議的AI道德性問題:

複旦MOSS大模型開源了!Github和Hugging Face同時上線

當然,這波裡面也不乏“砸場子”的網友。

複旦MOSS大模型開源了!Github和Hugging Face同時上線

例如官方GitHub問答中,有網友很想了解它的中文能力和chatglm6b相比誰更好,下面有網友調侃:

你是來砸場子的麼?

這也是因為此前團隊在MOSS 002公開測試時曾經表示過,MOSS的中文能力不算太好,這也與訓練資料有關。

除此之外,團隊這次還開源了一部分訓練資料。

複旦MOSS大模型開源了!Github和Hugging Face同時上線

至于完整資料,複旦MOSS團隊表示“近期會全部開源”。

國内最先釋出的ChatGPT産品

MOSS取自于《流浪地球》裡面那個擁有自我意識的AI。

它由複旦自然語言處理實驗室邱錫鵬團隊研發,2月20日正式釋出。

當時國内一衆大廠還在陸續高調官宣要造ChatGPT,誰都沒想到它就這麼一聲不吭地殺了出來。

是以盡管MOSS的參數量比ChatGPT小了一個量級,大家還是蜂擁而上,把伺服器都給擠爆了。

複旦MOSS大模型開源了!Github和Hugging Face同時上線

而釋出沒過一周,複旦大學教授邱錫鵬就在演講中提出,如果優化順利,計劃在三月底開源MOSS。

因為在他看來:

人們之是以很容易有“卡脖子”問題,是因為缺乏一個好的行業生态。

就拿ChatGPT來說,OpenAI公司隻需專注做好模型,算力、資料和系統則交給其他公司。反觀國内,很多公司在做大型語言模型時所有環節都需要自己做,每家的資料和算力也有限,結果是每家都做不大。在發展過程中,大型語言模型訓練與線上推理成本過高也是一個重大問題。

是以,他們一開始就考慮要把MOSS開源而不是商業化。

有了這樣一個基座,大家就不用重複開發底層技術,可以在上面接不同的細分領域。

如今,雖晚了快一個月,MOSS也說到做到了。

你試用過複旦MOSS開源模型了嗎?效果如何?

繼續閱讀