OpenAI Sora問世，通往AGI的又一個ChatGPT時刻！GPT4可能也要被幹掉了
OpenAI的文生視訊模型Sora刷屏了。
它有多震撼呢？這麼說吧，上一次這麼瘋狂的刷屏可能還是人類第一次見到ChatGPT的時候。以及，Sora之前幾小時Google剛剛推出了它最強的LLM Gemini1.5，并試圖宣稱自己終于殺死了GPT-4，然而，顯然現在沒人關注了。
因為看完Sora你可能會發現，OpenAI自己可能要用它先殺死GPT-4了。
每個人都可以創造自己的世界了
先來看看Sora。
人們一直期待GPT-5，但Sora帶來的轟動不亞于一次GPT-5的釋出。
作為OpenAI 首推的文本轉視訊模型，Sora能夠根據文本指令或靜态圖像生成長達 1分鐘的視訊，其中包含精細複雜的場景、生動的角色表情以及複雜的鏡頭運動。同時也接受現有視訊擴充或填補缺失的幀。
每條提示60秒的視訊長度與Pika Labs的3秒、Meta Emu Video的4秒、和Runway公司Gen-2的18秒相比，妥妥地鐵赢了。并且從官方釋出的示範來看，無論從視訊流暢度還是細節表現能力上，Sora的效果都相當驚豔。
比如官推裡這條14秒的東京雪景視訊。
提示詞：Beautiful, snowy Tokyo city is bustling. The camera moves through the bustling city street, following several people enjoying the beautiful snowy weather and shopping at nearby stalls. Gorgeous sakura petals are flying through the wind along with snowflakes.
「美麗的，被雪覆寫的東京正繁忙着。鏡頭穿過繁忙的城市街道，跟随着幾個享受雪景和在附近攤位購物的人。美麗的櫻花瓣随風飄落，與雪花一同飛舞。」
穿着時尚的女性漫步在霓虹背景的東京街頭，地面有積水倒影。
對于五官和皮膚的刻畫十分真實，特别是痘印和法令紋，細節讓人驚歎。
猛犸象自冰川雪原中緩步從來，背後升騰起雪霧。
燭火旁純真頑皮的3D動畫小怪物，光影、表情和毛茸茸的細節滿分：
一名24歲女性的眼部特寫，足以以假亂真。
無人機視角的海浪拍打着Big Sur加瑞角海岸崖壁，落日灑下金色光芒。
窗台上的花朵開放延時影像：
群眾們上街舞龍，慶祝中國農曆春節。
可愛小貓咪線上安撫起床氣。
夜晚街道跑着的快樂小狗。
兩艘微型海盜船在一杯咖啡裡對峙。
加州淘金時代罕見“曆史影像”流出—— 像嗎？Sora做的。
目前Sora還在測試階段，僅對部分評估人員、視覺藝術家、設計師和電影制作人們開放通路權限，拿到試用資格的人們已經開始想象力橫飛。
Sam Altman就轉發網友用Sora制作的“金光燦燦動物園”視訊，玩起了自己的“What”梗：
他還邀請大家踴躍提出想用Sora制作視訊的提示詞，團隊馬上為大家生成，瞬間8千多條回複。
網友腦洞大開，要看海洋生物的自行車公開賽。
兩隻金毛在山上戴着耳機開播客。
當然也不忘cue一下去向成謎的Ilya，要求生成一個“Ilya眼中的真實世界”。
不過OpenAI也表示，雖然Sora 對自然語言有着深入的了解，能夠準确洞悉提示詞，生成表達豐富的内容，并可以建立多個鏡頭、保持角色和視覺風格的一緻性，但仍不可避免地存在一些弱點。
例如，它在準确模拟複雜場景的實體現象方面存在困難，也可能不了解特定的因果關系。比方說“一個人咬一口餅幹後，餅幹上可能并沒有咬痕。”
模型也可能混淆提示的空間細節，像是弄錯左右。或者“在準确展現随時間發生的事件方面遇到困難，比如遵循特定的錄影機軌迹”。
Sora也使用了DALL·E 3的recaptioning技術，該技術涉及為視覺訓練資料生成高度描述性的标題。是以模型能夠更忠實地按照使用者在生成視訊中的文本指令進行操作。
它能夠一次性生成整個視訊，或是擴充已生成的視訊使其變長。通過讓模型一次性預見多幀，解決了即使主體暫時離開視線也能保持不變的挑戰性問題。
關于安全性，OpenAI表示正與錯誤資訊、仇恨内容和偏見等領域的專家合作，對模型進行對抗性測試。同時也在開發幫助檢測誤導性内容的工具，識别視訊是否由Sora生成。對于違反使用政策的文本提示，例如暴力、仇恨和侵犯他人知識産權等内容，将拒絕顯示給使用者。
除此以外，為DALL·E 3産品建構的現有安全方法也同樣适用于Sora。
“盡管進行了廣泛的研究和測試，我們仍無法預測人們将如何利用我們的技術，也無法預見人們如何濫用它。這就是為什麼我們相信，從真實世界的用例中學習，是随時間建構越來越安全的AI系統的關鍵組成部分。”
OpenAI對 Sora信心滿滿，認為這為模型了解和模拟真實世界奠定了基礎，是“實作AGI的重要裡程碑”。
網友們也第n+1次紛紛哀悼起相關賽道的公司們：
“OpenAI就是不能停止殺死創業公司。”
“天哪，現在起我們要弄清什麼是真的，什麼是假的。”
“我的工作沒了。”
“整個影像素材行業被血洗，安息吧。”
能殺死GPT-4的世界模型？這不就是嗎
OpenAI一如既往沒有給出很詳細的技術說明，但一些隻言片語已經足夠讓你浮想聯翩。
其中最吸引我們注意的第一個點，是對資料的處理。
Sora是一個擴散模型（diffusion model），采用類似GPT的Transformer架構。而在解決訓練中文本資料與視訊資料之間的統一方面，OpenAI表示，他們在處理圖像和視訊資料時，把對它們進行分割後得到的最小單元，稱為小塊（patches），也就是對應LLM裡的基本單元tokens。
這是一個很重要的技術細節。把它作為模型處理的基本單元，使得深度學習算法能夠更有效地處理各種視覺資料，涵蓋不同的持續時間、分辨率和寬高比。
從最終的震撼效果看，你很難不得出這樣一個結論：對語言的了解能力，是可以遷移到對更多形态的資料的了解方法上去的。
此前的Dalle-3的效果就被公認很大程度來自OpenAI在GPT上積累的領先N代的語言能力，哪怕是個圖像為輸出的模型，語言能力提升也是至關重要的。而今天的視訊模型，同樣如此。
至于它是如何做到的，有不少行業内的專家給出了相同的猜測：它的訓練資料裡使用了遊戲領域最前端的實體引擎Unreal Engine5，簡單粗暴的了解，就是語言能力足夠強大之後，它帶來的泛化能力直接可以學習引擎生成的圖像視訊資料和它展現出的模式，然後還可以直接用學習來的，引擎最能了解的方式給這些利用了引擎的強大技術的視覺模型子產品下指令，生成我們看到的逼真強大的對實體世界展現出“了解”的視訊。
基于這個猜測，OpenAI簡短的介紹中的這句話似乎就更加重要了：
“Sora 是能夠了解和模拟現實世界的模型的基礎，OpenAI相信這一功能将成為實作AGI的重要裡程碑。”
了解，現實，世界。
這不就是人們總在争論的那個唯一有可能“幹掉”GPT-4的世界模型。現在，OpenAI搞出來了它的雛形，擺在了你的面前。
看起來，這個模型學會了關于 3D 幾何形狀和一緻性的知識，而且并非OpenAI訓練團隊預先設定的，而是完全是通過觀察大量資料自然而然地學會的。負責Sora訓練的OpenAI科學家Tim Brooks表示，AGI将能夠模拟實體世界，而Sora就是邁向這個方向的關鍵一步。
顯然，在OpenAI眼裡，它不隻是一個“文生視訊模型”，而是更大的東西。
我們如果嘗試進一步給一個暴論，就是：語言是了解一切的基礎，了解了視訊後，世界模型才會到來。
可能這才是比今天刷屏感慨“現實不存在了”之外，更恐怖的地方。這可能是人類通往AGI的又一個ChatGPT時刻。