AI视频生成领域在Sora还没出世的现在，也就三个产品鼎立，一个是开源的SVD，另两个是Runway和Pika。而腾讯人工智能实验室一直在AI视频领域发力，前不久和香港中文大学联合发布了他们的DynamiCrafter视频生成新模型。从其跟Pika和SVD对比的Demo视频看，效果挺不错。
视频加载中...
DynamiCrafter是使用视频扩散先验算法对开放域图像进行动画处理的视频生成模型。它可以根据文本提示，利用预训练的视频扩散模型，为任意的静态图像生成逼真的视频内容。目前可以生成三种分辨率的视频，256*256，320*512，576*1024，下面看看Demo视频效果。
256*256
320*512
576*1024
DynamiCrafter的大概工作流程是将输入的图像投影到一个与文本对齐的丰富的上下文表示空间，使用一个查询变换器，让视频模型能够以一种兼容的方式理解图像的内容。然后，它会将完整的图像与初始的噪声拼接起来，再输入到扩散模型中，利用扩散模型的运动先验，生成动态的视频序列。
拟议的 DynamiCrafter 的流程图。在训练过程中，我们通过所提出的双流图像注入机制随机选择视频帧作为去噪过程的图像条件，以继承视觉细节并以上下文感知的方式消化输入图像。在推理过程中，我们的模型可以根据输入静态图像的噪声生成动画剪辑。
官方列举了几种DynamiCrafter模型的应用实例：
1 讲故事的视频生成
2 生成帧插值
3 循环视频生成
DynamiCrafter模型已经有了Comfyui支持，可以在管理器搜索下载节点。另外官方还提供了抱抱脸的网页版试用页面。
官方地址: https://github.com/doubiiu/dynamicrafter
试用地址：https://huggingface.co/spaces/Doubiiu/DynamiCrafter
很多博主曾报道过该模型，为了搏噱头标题动不动就是什么王炸啊、吊打啊。虽然官方Demo很好看（大家都知道Demo的水分），其实DynamiCrafter模型并不是一个成熟的AI视频生成模型，只是算刚刚成型尚未完善的一个工具。官方自己也列出了以下缺点：
生成的视频相对较短（2秒，FPS=8）；
该模型无法呈现清晰的文本；
一般情况下，面孔和人物可能无法正确生成；
模型的自动编码部分是有损的，导致轻微的闪烁伪像。
当然，国产AI的进步我们还是要鼓励，多个AI视频工具总是好的。