视频生成技术分享

文本到视频（T2V）生成是一种技术，它通过将文本描述转换为视频内容，允许用户根据自然语言生成动态视觉媒体。近年来，扩散模型在这一领域取得了显著进展，但现有模型在处理多个对象和复杂场景时，面临视频文本对齐不准确的挑战。

为了应对这些挑战，S2AG-Vid提出了一种无需训练的推理阶段优化方法，通过引入空间位置的交叉注意力（CA）约束和语法引导的对比约束，来改善多个对象与其对应动作的对齐。这种方法提高了动词与名词之间的关联性，增强了动作与主体的绑定。

其意义在于，这项技术不仅提升了视频生成的质量和一致性，还拓宽了T2V应用的可能性，使得生成更复杂、动态的场景成为可能，为创意、教育和娱乐等领域提供了新的工具和机会。

论文作者：Yuanhang Li,Qi Mao,Lan Chen,Zhen Fang,Lei Tian,Xinyan Xiao,Libiao Jin,Hua Wu

作者单位：Communication University of China;Baidu Inc.

论文链接：http://arxiv.org/abs/2409.15259v1

内容简介：

1）方向：文本到视频（T2V）生成

2）应用：视频生成

3）背景：最近，使用扩散模型进行文本到视频生成的技术取得了显著进展，但现有的T2V模型主要集中在简单场景中，只涉及单个对象执行单一动作。在涉及多个对象具有不同动作的场景中，往往会出现视频文本对齐不准确的挑战。

4）方法：为了解决这一挑战，提出了S2AG-Vid，这是一种无需训练的推理阶段优化方法，可改善T2V模型中多个对象与其对应动作之间的对齐。S2AG-Vid首先在去噪过程的早期阶段应用基于空间位置的交叉注意力（CA）约束，有助于多个名词明确关注正确的主体区域。为了增强动作-主体绑定，在随后的去噪阶段实施了一种受语法引导的对比约束，旨在提高动词及其对应名词的CA图之间的相关性。

5）结果：定性和定量评估表明，所提出的框架明显优于基线方法，生成质量更高的视频，主体动作一致性得到改善。