編輯部 發自 AIGC峰會
量子位 | 公衆号 QbitAI
文生圖、文生音頻、文生視訊、AI搜尋引擎……大模型在多模态的程序可謂是愈演愈烈。
而聚焦在國内，有這麼一家公司在AIGC大熱潮的前後，單是“首個”就占了四席：
- 釋出中國首個開源文本大模型
- 國内首個對标ChatGPT的雙千億級大模型
- 中國首個AI搜尋
- 國内首個線上提供服務的MoE大模型
不賣關子，這家公司正是昆侖萬維，并且就在最近，它還解鎖了“中國首個音樂SOTA模型——天工音樂大模型”。
那麼昆侖萬維在多模态大模型的道路中是如何演進的？為何能夠如此精準的先邁出每一步？
在本次中國AIGC産業峰會上，昆侖萬維董事長兼CEO方漢回答了一切。
為了完整展現方漢的思考，在不改變原意的基礎上，量子位對演講内容進行了編輯整理，希望能給你帶來更多啟發。
中國AIGC産業峰會是由量子位主辦的行業峰會，20位産業代表與會讨論。線下參會觀衆近千人，線上直播觀衆300萬，獲得了主流媒體的廣泛關注與報道。
話題要點
- 天工3.0釋出，全面超越MoE大模型Grok-1
- 天工3.0在多輪搜尋、搜尋“研究模式”、智能體方面能力提升
- 中國首個音樂AIGC的SOTA模型
- ……
以下為方漢演講全文：
天工3.0正式釋出
我今天的演講主題是“天工多模态大模型的演進落地”。
大家知道昆侖萬維是從2022年12月釋出了中國首個開源文本大模型，在2023年4月17日「天工1.0」釋出，2023年8月23日釋出了國内首個AI搜尋産品——天工AI搜尋。
在今天，我們釋出了「天工3.0」，這是中國首個在音樂AIGC領域達到SOTA的模型，同時我們将開源4000億參數全球最大規模的MOE大模型，并且開始啟動公測。
首先，「天工3.0」目前性能已經全面超越3140億參數的MOE大模型Grok-1，是全球第一，這兩個大模型目前都是開源的。
我們可以看到在MMbench和MMbench-CN這兩個測試集中，我們在性能名額上已經全面超越GPT-4V，綜合排名全球領先。
「天工3.0」目前在模型技術支援能力上提升超過20%，在數學、推理、代碼、文創能力上提升超過30%。
通過專項的Agent訓練，可以應付複雜的需求能力，在内容創作能力上全面更新，目前是能搜能寫能讀能聊能說能畫能聽能唱，在多模态能力上非常全面。
下面可以看到，「天工3.0」在多輪搜尋與綜合工具的調用能力上有了大幅提高。
例如，搜尋“成都迪斯尼怎麼去”大家知道，“成都迪斯尼”是個梗，我們能夠準确識别出來“成都迪斯尼”是成都的一個小區，同時，大模型把“成都迪斯尼”的攻略生成出來之後，還會把它總結成一個攻略。
再比如，在問天氣怎麼樣的時候，大模型會把上海的天氣以卡片的形式展現給使用者，最後生成相對應的圖檔。
視訊位址：
https://mp.weixin.qq.com/s/9_tE4IvcwaeEKuNY8XthLQ
再來看一下 「天工3.0」在搜尋能力上的“研究模式”，大家可能知道，學生在閱讀文獻的時候，需要總結大綱，再自己畫腦圖。
視訊位址：
https://mp.weixin.qq.com/s/9_tE4IvcwaeEKuNY8XthLQ
在以前這類工作非常煩瑣，現在我們可以自動對搜尋内容進行總結、自動生成大綱、拷貝到PowerPoint，就能自動生成PPT，同時最後再自動生成腦圖。這對所有的研究工作者非常有幫助。
下面我們看一下「天工3.0」在智能體方面的進展，大家可以很友善地通過非代碼的形式生成智能體，我們看現在生成的智能體在使用之後，可以生成一個關于特斯拉和小米SU7車型對比的表格，而且是多模态的生成，這個非常友善。
視訊位址：
https://mp.weixin.qq.com/s/9_tE4IvcwaeEKuNY8XthLQ
首個音樂AIGC的SOTA模型
目前，昆侖萬維以AI大模型為底座，已經擁有AI社交、AI遊戲、AI搜尋、AI大模型、AI音樂、AI視訊等六大業務矩陣。
我再給大家分享一下多模态大模型天工SkyMusic，這是目前首個音樂AIGC的SOTA模型。給大家聽一下案例，這是龐博（喜劇明星）利用天工AI音樂創作的一首歌曲。
視訊位址：
https://mp.weixin.qq.com/s/9_tE4IvcwaeEKuNY8XthLQ
我們天工SkyMusic與SONO V3的版本對比，首先，在人聲&BGM音質、人聲自然度、發音可懂度等領域都有明顯地提升。
我們這個技術模型的架構是類似Sora的DiT架構，目前資料集已經将近2000萬首音樂，這才能在音樂名額上可以超過SUNO，達到目前的SOTA，也就是技術名額第一。
我們獨家優勢在于根據示例音源生成音樂的能力，而不是根據标簽來生成音樂。
根據示例音源生成音樂的能力可以讓很多專業創作者用自己的一段小旋律生成完整的音樂，同時在人聲合成方面支援單一語種方案輸出能力，目前已經支撐粵語、四川話、北京話、上海話等多個方言。
最後，我們生成更具辨識度的自然人聲，大家都知道如何區分每個歌手的人聲，在合成上是有比較大的技術難度，我們目前基本上可以根據輸入的語音達到更好的克隆。
目前天工SkyMusic音樂創作能力，首先，能夠極大降低音樂創作門檻，人人皆可以歌明志。
大家可以看到，今天在我們公測的天工SkyMusic的功能下方，網友們創作的歌曲非常多，創作形式也非常多樣。
之前制作一首歌的成本非常昂貴，因為首先要有音樂的基礎能力，才能去作曲、才能編曲，還要有樂隊幫助你去演奏合成，最後還得有專業的演唱能力，才能完成一首歌的制作。
通過天工SkyMusic，一個人隻要花幾分鐘時間可以完整創作出一首可以釋出的歌曲，這樣極大降低了音樂創作門檻。讓每個人可以創作出自己的歌曲。
同時，極大降低了音樂創作成本，對于全體内容行業來說是一個福音。大家知道，在各行各業使用音樂的地方非常多。
之前都有着比較昂貴的授權費用，在今天可以讓各行各業使用的所有通過AI生成，成本可以迅速從幾萬塊錢降到幾分錢。
最後，我們也證明了中國研發可以在垂直領域做到全球的SOTA，這也是非常有意義的。大家知道，SOTA這個詞是“State of the art”，目前技術名額第一的意思。
OpenAI為什麼現在是全球估值最高的大模型企業？
因為在文本大模型以及視訊生成大模型方面，它一直是全球的SOTA。對于中國公司來說，能否在垂直領域取得SOTA，也是你的企業能夠獲得技術紅利的一個重要因素。
最後我跟大家分享一下，昆侖萬維的使命與目标，是實作通用人工智能，讓每個人更好地塑造和表達自我。
為什麼我們把這個分成了兩段？
實作通用人工智能就是對标AGI，我們堅信通過文本大模型和多模态大模型不斷演進，一定會實作通用人工智能；但與此同時，我們也可以通過AIGC能力的不斷拓展，讓每個人更好地塑造和表達自我。
我們可以看到從文本生成到圖像生成，再到音樂生成以及視訊生成，AIGC技術的演進能夠讓全世界創作内容的成本極大降低，進而打破強勢文化利用資源來達到的壟斷地位，讓每個少數族群都能夠創作屬于自己的内容，實作真正的文化平權。
這也是我們作為一家在全球幾十個國家都擁有業務的全球網際網路平台企業所希望看到的一個願景。
— 完 —
量子位 QbitAI · 頭條号簽約
關注我們，第一時間獲知前沿科技動态