2022年，生成模型（Generative models）取得了巨大的进展。不仅可以从自然语言提示中生成逼真的2D图像，也在合成视频和3D形状生成方面有着不俗的表现。
虽然目前的生成模型可以生成静态的3D对象，但合成动态场景更加复杂。而且，由于目前缺少现成的4D模型集合（无论是有或没有文本注释），相比于2D图像和产生视频，由文本到4D的生成更加困难。
那么，如何基于简单的文本直接产生复杂的3D动态场景呢？
一种可能的方法是，从预先训练好的2D视频产生器开始，从产生的视频中提取4D重建。然而，从视频中重建可变形物体的形状是一项非常具有挑战性的工作。
近日，来自Meta的研究团队结合视频和3D生成模型的优点，提出了一个新的文本到4D（3D+时间）生成系统——MAV3D（Make-A-Video3D）。
据介绍，该方法使用4D动态神经辐射场（NeRF），通过查询基于文本到视频（T2V）的扩散模型，对场景外观、密度和运动一致性进行了优化。
同时，由特定文本生成的动态视频可以从任何摄影机位置和角度观看，并且可以合成到任何3D环境中。
由MAV3D产生的样本。行表示时间的变化，列表示视点的变化。最后一列显示其相邻列的深度图像。
研究团队表示，MAV3D是第一个基于文本描述产生3D动态场景的方法，可以为电玩游戏、视觉效果或AR/VR产生动画3D资产。相关研究论文以“Text-To-4D Dynamic Scene Generation”为题，已发布在预印本网站arXiv上。
据论文描述，MAV3D的实现不需要任何3D或4D资料，而且T2V模型也只是在文本-图像对和未标记的视频资料上训练的。
以往研究证明，仅仅使用视频生成器优化动态NeRF不会产生令人满意的结果。为了实现由文本到4D的目标，必须克服以下3个挑战：
那么，由简单的文本描述到复杂的3D动态场景生成，具体是如何实现的呢？
首先，研究团队仅充分利用了三个纯空间平面（绿色），渲染单个图像，并使用T2I模型运算SDS损失。
然后，他们添加了额外的三个平面（橙色，初始化为零以实现平滑过渡），渲染完整的视频，并使用T2V模型运算SDS-T损失。
最后，即超分辨率微调（SRFT）阶段，他们额外渲染了高分辨率视频，并将其作为输入传递给超分辨率组件。
MAV3D的实现路径
另外，MAV3D也可以完成由图像到4D应用的转换。给定一个输入图像，通过提取它的CLIP embedding，并以此来约束（condition）MAV3D。
图像到4D应用。
然而，这一方法也存在一定的局限性。例如，在即时应用中，将动态NeRF转换为不相交网格串行的效率很低。研究团队认为，如果直接预测顶点的轨迹，或许可以改进。
此外，利用超分辨率资讯已经提高了展示的品质，但对于更高细节的纹理还需要进一步改进。
最后，表示的品质取决于T2V模型从各种视图生成视频的能力。虽然使用依赖于视图的提示有助于缓解多面问题，但进一步控制视频产生器将是有帮助的。