天天看點

無中生有做3D——遊戲行業的AI革命

在更強大的AI及相關技術的加持下,遊戲行業将出現怎樣的變革?

4月13日周三,方正證券分析師楊曉峰發表了題為《遊戲的AI革命:StableDiffusion到Nerf》的行業研究報告。

在這份報告中,方正證券表示,遊戲行業能夠根據現有的AI模型——GPT、Stable Diffusion以及Nerf,實作“無中生有做3D”。

GPT文本生成神器的功能已被大衆所熟知,這裡方正證券着重介紹了Stable Diffusion和NeRF模型。

AI生成2D作畫:Stable Diffusion

據方正證券介紹,Stable Diffusion是一個文本到圖像的潛在擴散模型,可以實作“文生圖”功能。不過,目前的輸入内容類似于程式代碼,具有一定的門檻。

Stable Diffusion提供開源模型,使用者可對其進行進一步訓練,風格多樣化。

同時,使用controlnet插件可以使Stable Diffusion生成多視角圖檔。

無中生有做3D——遊戲行業的AI革命

AI推動“2D到3D” :NeRF模型

NeRF,全稱為Neural Radiance Fields(神經輻射場),是一項利用多視角圖像重建三維場景的技術,即利用2D圖檔搭建3D場景。

目前基于NeRF技術建構的模型主要有谷歌的Mip-NeRF、Block-NeRF、LOLNeRF,英偉達開發的instant NGP。

據方正證券稱,instant NGP可以極大的提高NeRF的效率,在某些情況下速度可以提升超過1000倍。

Instant NeRF可在單GPU(RTX3090)環境下實作秒級的3D場景生成。在高清分辨率下,合成甚至真實 場景可以在幾秒内訓練,幵以 60幀/秒的速度渲染。

無中生有做3D——遊戲行業的AI革命

另外,3D模組化軟體服務商Luma AI近期開發了NeRF相關的APP,目前已上線APP Store,極大的降低了NeRF的使用門檻:

僅需要一部手機,通過APP導引進行場景的拍攝,就可以随時随地渲染三維場景,輕松使用NeRF。

無中生有做3D——遊戲行業的AI革命

2023年3月24日,Luam獲2000萬美元的A輪融資,英偉達為其投資方之一。

GPT→Stable Diffusion→Nerf:無中生有做3D

據介紹,目前由文字到3D模型,存在兩種路徑。

使用“文生圖”模型+NeRF生成3D模型,GPT在其中可以發揮重要作用。例如,使用stable diffusion+controlnet插件,生成多視角的2D圖,再由NeRF形成3D模組化。但由于目前文生圖模型的prompt仍有一定的門檻,是以或可訓練GPT,使其掌握,進而實作自然語言生成滿意的多視角2D圖。

無中生有做3D——遊戲行業的AI革命

使用文字生成3D模型。這一類模型往往是,文本到圖像擴散模型和NeRF的結合。其原理為,先通過文本到圖像的擴散模型生成2D圖,再通過NeRF将2D圖生成3D模型。

無中生有做3D——遊戲行業的AI革命

AI推動降本增效

目前,國内常見的遊戲美術制作方式有四種,分别是3渲2制作、3D 現世代制作( 傳統手繪)、3D 傳統次世代制作和3D次世代制作。

但總體來看,目前制作一個3D遊戲角色的周期在30-45天左右,需要的步驟較多,參與的人員衆多。

使用NeRF可以快速模組化,進而提高效率,節省成本。

時間上,AI生成圖檔的速度相對手畫來說,大幅度提高;而NeRF模組化也可一次性完成上文中步驟的多個, 在時間上有極大的提高。

人力上,“文生圖”和NeRF可以完成多個角色的工作,同時也更加快速。

本文主要觀點來自方正證券楊曉峰,原文标題:《遊戲的AI革命:StableDiffusion到Nerf》

繼續閱讀