重磅！OpenAI首個視訊生成模型釋出，1分鐘流暢高清，效果炸裂

每經編輯：畢陸名

據OpenAI官網，OpenAI首個視訊生成模型Sora釋出，完美繼承DALL·E 3的畫質和遵循指令能力，能生成長達1分鐘的高清視訊。

AI想象中的龍年春節，紅旗招展人山人海。

有緊跟舞龍隊伍擡頭好奇官網的兒童，還有不少人掏出手機邊跟邊拍，海量人物角色各有各的行為。

一位時髦女士漫步在東京街頭，周圍是溫暖閃爍的霓虹燈和動感的城市标志。

一名年約三十的宇航員戴着紅色針織摩托頭盔展開冒險之旅，電影預告片呈現其穿梭于藍天白雲與鹽湖沙漠之間的精彩瞬間，獨特的電影風格、采用35毫米膠片拍攝，色彩鮮豔。

豎屏超近景視角下，這隻蜥蜴細節拉滿：

OpenAI表示，公司正在教授人工智能了解和模拟運動中的實體世界，目标是訓練出能夠幫助人們解決需要與現實世界互動的問題的模型。在此，隆重推出文本到視訊模型——Sora。Sora可以生成長達一分鐘的視訊，同時保證視覺品質和符合使用者提示的要求。

如今，Sora正面向部分成員開放，以評估關鍵領域的潛在危害或風險。同時，OpenAI也邀請了一批視覺藝術家、設計師和電影制作人加入，期望獲得寶貴回報，以推動模型進步，更好地助力創意工作者。OpenAI提前分享研究進展，旨在與OpenAI以外的人士合作并擷取回報，讓公衆了解即将到來的AI技術新篇章。

Sora模型能夠生成包含多個角色、特定類型運動和主體及背景精确細節的複雜場景。該模型不僅能了解使用者在提示中所要求的内容，還能了解這些事物在現實世界中的存在方式。該模型對語言有深刻了解，能準确解讀提示，并生成表達豐富情感的引人入勝的角色。Sora還能在單個生成的視訊中建立多個鏡頭，使角色和視覺風格保持準确一緻。

比如一大群紙飛機在樹林中飛過，Sora知道碰撞後會發生什麼，并表現其中的光影變化。

一群紙飛機在茂密的叢林中翩翩起舞，在樹林中穿梭，就像候鳥一樣。

Sora還可以在單個視訊中建立多個鏡頭，并依靠對語言的深入了解準确地解釋提示詞，保留角色和視覺風格。

對于Sora目前存在的弱點，OpenAI也不避諱，模型在準确模拟複雜場景的實體特性方面可能會遇到困難，也可能無法了解具體的因果關系執行個體。例如“五隻灰狼幼崽在一條偏僻的碎石路上互相嬉戲、追逐”，狼的數量會變化，一些憑空出現或消失。

此外，模型還可能會混淆提示的空間細節，例如左右不分，并且在處理随時間發生的事件的精确描述方面也可能存在困難，比如跟蹤特定的錄影機軌迹。

如提示詞“籃球穿過籃筐然後爆炸”中，籃球沒有正确被籃筐阻擋。

技術方面，目前OpenAI透露的不多，簡單介紹如下：

Sora是一種擴散模型，從噪聲開始，能夠一次生成整個視訊或擴充視訊的長度，

關鍵之處在于一次生成多幀的預測，確定畫面主體即使暫時離開視野也能保持不變。

與GPT模型類似，Sora使用了Transformer架構，有很強的擴充性。

在資料方面，OpenAI将視訊和圖像表示為patch，類似于GPT中的token。

通過這種統一的資料表示方式，可以在比以前更廣泛的視覺資料上訓練模型，涵蓋不同的持續時間、分辨率和縱橫比。

Sora建立在過去對DALL·E和GPT模型的研究之上。它使用DALL·E 3的重述提示詞技術，為視覺訓練資料生成高度描述性的标注，是以能夠更忠實地遵循使用者的文本指令。

除了能夠僅根據文本指令生成視訊之外，該模型還能夠擷取現有的靜态圖像并從中生成視訊，準确地讓圖像内容動起來并關注小細節。

該模型還可以擷取現有視訊并對其進行擴充或填充缺失的幀，請參閱技術論文了解更多資訊（晚些時候釋出）。

Sora是能夠了解和模拟現實世界的模型的基礎，OpenAI相信這一功能将成為實作AGI的重要裡程碑。

每日經濟新聞綜合OpenAI官網

每日經濟新聞