天天看点

一拖一拽,玫瑰复活了!谷歌提出生成图像动力学,从此万物皆有灵

作者:WDAAYY

本文内容来自于网络,若与实际情况不相符或存在侵权行为,请联系删除

【新智元引言】

最新研究由谷歌团队推出了「生成图像动力学」技术,这项技术能够将静态图片变幻成生动、无缝循环的视频,甚至还具备交互功能。这项创新能使观者在手指触碰间,世界中的一切都变得活灵活现。这篇论文中谷歌提出了「GenerativeImageDynamics」,通过对图像空间的先验建模以及神经随机运动纹理的预测,成功地实现了从单张图像到无限循环视频的生成。

一拖一拽,玫瑰复活了!谷歌提出生成图像动力学,从此万物皆有灵

这项技术不仅让艺术家们的创意超越传统框架的束缚,更让观众们感受到图中万物,「活」起来的奇妙。

【随心所动的图像空间】

在图像中,万物皆能动。轻轻一拉,一朵玫瑰开始舞动,一颗松柏向左移动。世界各种物体的图片也在手下焕发生机,随手一拉,即刻栩栩如生。这就是谷歌团队最新研究的成果,让你的手指成为了魔法金手指,一触即动。

【图像运动的奇妙预测】

在这项研究中,谷歌提出了「GenerativeImageDynamics」,通过对图像空间的先验进行建模,然后通过训练模型预测「神经随机运动纹理」。

一拖一拽,玫瑰复活了!谷歌提出生成图像动力学,从此万物皆有灵

这个纹理能够描述每个像素未来的运动轨迹,从而实现与单个图像的交互,甚至能生成一个无限循环的视频。未来,艺术家们将不再受限于传统的创作框架,一切都能在这个动态的图像空间中得以实现。

【多维频率的运动奇观】

世界中的运动是多模态的,无论是风吹树叶还是蜡烛燃烧,运动都是多维多样的。谷歌的研究团队选择了傅立叶级数作为基函数,以描述具有自然摆动动态的真实世界场景。

一拖一拽,玫瑰复活了!谷歌提出生成图像动力学,从此万物皆有灵

他们运用扩散模型预测「神经随机运动纹理」,通过这一频率空间纹理,静态图像可以转化为逼真的动画。

【创新的技术实现】

这项技术基于单张图片,旨在生成长度为T的视频,呈现动态的树木、花朵或微风中摇曳的蜡烛火焰等。研究人员构建了一个系统,包括「动作预测模块」和「基于图像的渲染模块」。首先,他们使用「潜在扩散模型」预测图像中每个像素的运动轨迹的频率表示。然后,通过逆离散傅立叶变换将预测的随机运动纹理转化为运动位移场,用于确定未来时间步长的位置。

一拖一拽,玫瑰复活了!谷歌提出生成图像动力学,从此万物皆有灵

【运动纹理的神奇应用】

谷歌团队展示了这项技术的多种应用,将静态图像变为生动的动画。他们实现了图像到视频的转换,通过预测随机运动纹理,实现了动画生成。不仅如此,他们还展示了如何生成具有无缝循环运动的视频,使视频开始和结束间没有不连续性。最令人惊叹的是,他们能通过简单的触摸,让图像产生交互式的动画效果,仿佛图中的事物真实地回应着用户的指令。

【突破的实验验证】

实验结果显示,谷歌的方法在图像和视频合成质量方面明显优于以往的基线方法。

一拖一拽,玫瑰复活了!谷歌提出生成图像动力学,从此万物皆有灵

通过全局随机运动纹理表示,生成的视频具有更高的一致性,不会随时间漂移或退化。这项技术为图像空间运动预测开创了崭新的可能,让静态图像充满了动态生机。

【向未来的艺术可能性迈进】

谷歌的「生成图像动力学」技术开启了艺术的新时代。从单张图片到无限循环的视频,从静态到动态,艺术家们的创作将不再受到限制。这项技术不仅让我们看到了图中万物「活」起来的奇妙,更让我们期待未来艺术的无限可能性。

一拖一拽,玫瑰复活了!谷歌提出生成图像动力学,从此万物皆有灵

继续阅读