隻用一張RTX 4090顯示卡，開發者用視訊生成模拟《超級馬裡奧兄弟》

近期，AI 技術在遊戲開發領域取得了令人矚目的進展。

繼谷歌的 GameNGen AI 模型展示了使用圖像擴散技術生成可玩版《毀滅戰士》（Doom）的能力後，一個新研究項目又将目光投向了另一款經典遊戲——任天堂的《超級馬裡奧兄弟》（Super Mario Bros）。

這個項目展示了 AI 如何通過視訊生成技術來模拟這款 1985 年發行的經典遊戲，為未來的遊戲開發開辟了新的可能性。

公開資料顯示，MarioVGG 項目主要由 GitHub 使用者歐尼·周（Ernie Chew）和布瑞恩·林（Brian Lim）管理，其相關論文由加密貨币相關的 AI 公司 Virtuals Protocol 發表。

該項目主要利用機器學習技術，通過研究遊戲視訊和輸入資料，來推斷遊戲的實體規則和遊戲動态。

研究人員使用了一個包含 280 個遊戲關卡的公開資料集，遊戲畫面超過 737000 幀。

為了簡化遊戲情況，他們隻關注兩種潛在輸入：向右跑和向右跑并跳躍。經過約 48 小時的訓練（使用單塊 RTX 4090 顯示卡），模型就能夠從靜态的初始遊戲圖像和文本輸入生成新的視訊幀序列。

MarioVGG 采用了文本到視訊生成的方法來重制《超級馬裡奧兄弟》。模型通過學習遊戲畫面，能夠根據玩家的文本輸入（“跑”或“跳”）生成相應的遊戲畫面序列。

具體來說，模型隻需要接收一個初始的遊戲畫面幀和所需動作的文本描述（例如“跳躍”），然後學習生成一系列可視化描述所需動作的幀。

為了提高效率，研究人員将輸出幀的分辨率從原始 NES（注：Nintendo Entertainment System，是任天堂生産的第一代家用遊戲機）的 256×240 降低到了 64×48 或 128×96。

此外，他們将 35 幀的視訊時間壓縮為僅 7 個生成幀，這些幀以均勻的間隔分布，進而創造出比實際遊戲畫質更粗糙的遊戲視訊。

盡管采用了這些方法，MarioVGG 模型仍然面臨着接近實時視訊生成的挑戰。研究人員隻用了一張 RTX 4090 顯示卡，需要大約 6 秒鐘才能生成 6 幀視訊序列，視訊長度僅僅超過半秒，這還是在極其有限的幀率下。

研究人員承認這“對于互動式視訊遊戲來說既不實用也不友好”，但他們希望未來的優化可以改善這一速率。

盡管存在上述限制，MarioVGG 仍然展現出了一些令人印象深刻的特性。

首先，模型能夠純粹從訓練資料中學習遊戲的實體規則，包括馬裡奧從懸崖邊跌落時的重力效果，以及在遇到障礙物時停止前進。

其次，雖然 MarioVGG 主要關注模拟馬裡奧的動作，但它也能有效地為馬裡奧生成新的障礙物，這些障礙物“與遊戲的圖形語言相一緻”。

此外，MarioVGG 能夠生成獨特的馬裡奧關卡，隻有第一幀輸入來自真實遊戲狀态。

然而，MarioVGG 也面臨着一些顯著的挑戰，比如研究人員觀察到，輸入動作文本并不總是被模型所遵守。

有時還會出現明顯的視覺問題，如馬裡奧有時會穿過障礙物和敵人、顔色閃爍、在幀之間縮小/增大，或在多個幀中完全消失後又重新出現。

模型并不懂得遊戲邏輯，即使在馬裡奧死掉之後，它還是會繼續渲染視訊幀，而不是回到最後的檢查點。此外，關卡和物體的生成也不可控，隻能通過程式化生成。

MarioVGG 項目為未來遊戲開發開辟了新的可能性，展示了 AI 如何通過學習視訊資料來了解和重制複雜的遊戲機制。

研究人員希望這代表着“産生和展示可靠和可控的視訊遊戲生成器”的第一步，甚至可能在未來“完全使用視訊生成模型取代遊戲開發和遊戲引擎”。

然而，要實作這一願景，還需要解決諸如實時性能、畫面品質、遊戲邏輯一緻性等一系列挑戰。例如，如何在生成的遊戲中決定終止狀态，這仍然是一個開放的研究問題。

盡管如此，考慮到 MarioVGG 項目僅使用了相對較小的訓練資料集和單個消費級圖形處理器（GPU，Graphics Processing Unit），其取得的成果已經相當令人印象深刻。

Virtual Protocols 公司在推特上樂觀地表示：“無限互動世界的時代已經到來。”

總的來說，雖然視訊生成制作遊戲的方法還無法完全替代傳統的遊戲開發方法，但它為遊戲産業注入了新的活力，讓我們得以一窺 AI 驅動的遊戲未來。

這些新項目為遊戲設計和開發提供了新的思路，展示了 AI 如何通過學習視訊資料來了解和重制複雜的遊戲機制。

未來，我們可能會看到，随着技術的發展有望出現更多 AI 輔助的遊戲開發工具，甚至是完全由 AI 生成的遊戲世界。

參考資料：

https://arstechnica.com/ai/2024/09/new-ai-model-learns-how-to-simulate-super-mario-bros-from-video-footage/

https://www.pcmag.com/news/this-ai-model-can-create-a-super-mario-game-using-a-text-to-video-generator

營運/排版：何晨龍