天天看點

一拖一拽,玫瑰複活了!谷歌提出生成圖像動力學,從此萬物皆有靈

作者:WDAAYY

本文内容來自于網絡,若與實際情況不相符或存在侵權行為,請聯系删除

【新智元引言】

最新研究由谷歌團隊推出了「生成圖像動力學」技術,這項技術能夠将靜态圖檔變幻成生動、無縫循環的視訊,甚至還具備互動功能。這項創新能使觀者在手指觸碰間,世界中的一切都變得活靈活現。這篇論文中谷歌提出了「GenerativeImageDynamics」,通過對圖像空間的先驗模組化以及神經随機運動紋理的預測,成功地實作了從單張圖像到無限循環視訊的生成。

一拖一拽,玫瑰複活了!谷歌提出生成圖像動力學,從此萬物皆有靈

這項技術不僅讓藝術家們的創意超越傳統架構的束縛,更讓觀衆們感受到圖中萬物,「活」起來的奇妙。

【随心所動的圖像空間】

在圖像中,萬物皆能動。輕輕一拉,一朵玫瑰開始舞動,一顆松柏向左移動。世界各種物體的圖檔也在手下煥發生機,随手一拉,即刻栩栩如生。這就是谷歌團隊最新研究的成果,讓你的手指成為了魔法金手指,一觸即動。

【圖像運動的奇妙預測】

在這項研究中,谷歌提出了「GenerativeImageDynamics」,通過對圖像空間的先驗進行模組化,然後通過訓練模型預測「神經随機運動紋理」。

一拖一拽,玫瑰複活了!谷歌提出生成圖像動力學,從此萬物皆有靈

這個紋理能夠描述每個像素未來的運動軌迹,進而實作與單個圖像的互動,甚至能生成一個無限循環的視訊。未來,藝術家們将不再受限于傳統的創作架構,一切都能在這個動态的圖像空間中得以實作。

【多元頻率的運動奇觀】

世界中的運動是多模态的,無論是風吹樹葉還是蠟燭燃燒,運動都是多元多樣的。谷歌的研究團隊選擇了傅立葉級數作為基函數,以描述具有自然擺動動态的真實世界場景。

一拖一拽,玫瑰複活了!谷歌提出生成圖像動力學,從此萬物皆有靈

他們運用擴散模型預測「神經随機運動紋理」,通過這一頻率空間紋理,靜态圖像可以轉化為逼真的動畫。

【創新的技術實作】

這項技術基于單張圖檔,旨在生成長度為T的視訊,呈現動态的樹木、花朵或微風中搖曳的蠟燭火焰等。研究人員建構了一個系統,包括「動作預測子產品」和「基于圖像的渲染子產品」。首先,他們使用「潛在擴散模型」預測圖像中每個像素的運動軌迹的頻率表示。然後,通過逆離散傅立葉變換将預測的随機運動紋理轉化為運動位移場,用于确定未來時間步長的位置。

一拖一拽,玫瑰複活了!谷歌提出生成圖像動力學,從此萬物皆有靈

【運動紋理的神奇應用】

谷歌團隊展示了這項技術的多種應用,将靜态圖像變為生動的動畫。他們實作了圖像到視訊的轉換,通過預測随機運動紋理,實作了動畫生成。不僅如此,他們還展示了如何生成具有無縫循環運動的視訊,使視訊開始和結束間沒有不連續性。最令人驚歎的是,他們能通過簡單的觸摸,讓圖像産生互動式的動畫效果,仿佛圖中的事物真實地回應着使用者的指令。

【突破的實驗驗證】

實驗結果顯示,谷歌的方法在圖像和視訊合成品質方面明顯優于以往的基線方法。

一拖一拽,玫瑰複活了!谷歌提出生成圖像動力學,從此萬物皆有靈

通過全局随機運動紋理表示,生成的視訊具有更高的一緻性,不會随時間漂移或退化。這項技術為圖像空間運動預測開創了嶄新的可能,讓靜态圖像充滿了動态生機。

【向未來的藝術可能性邁進】

谷歌的「生成圖像動力學」技術開啟了藝術的新時代。從單張圖檔到無限循環的視訊,從靜态到動态,藝術家們的創作将不再受到限制。這項技術不僅讓我們看到了圖中萬物「活」起來的奇妙,更讓我們期待未來藝術的無限可能性。

一拖一拽,玫瑰複活了!谷歌提出生成圖像動力學,從此萬物皆有靈

繼續閱讀