文本到视频生成模型

文本到视频模型（英语：Text-to-Video Model）是一种机器学习模型，它使用自然语言描述作为输入，生成与输入文本相关的视频。^[1] 2020年代，高质量文本到视频生成的进展主要得益于视频扩散模型的发展。^[2]

此section論述以部分區域為主，未必有普世通用的觀點。 (2024年8月1日)

目前存在多种文本到视频模型，包括开源模型。中文输入的模型^[3] CogVideo是最早开发的文本到视频模型之一，拥有94亿参数，其开源代码演示版本于2022年在GitHub上发布。^[4] 同年，Meta Platforms发布了部分文本到视频模型“Make-A-Video”，^[5][6][7] 而Google的Brain（后为Google DeepMind）推出了Imagen Video，这是一个基于3D U-Net的文本到视频模型。^{[8][9][10][11][12]}

2023年3月，一篇题为“VideoFusion: Decomposed Diffusion Models for High-Quality Video Generation”的研究论文发表，提出了一种新的视频生成方法。^[13] VideoFusion模型将扩散过程分解为两个部分：基础噪声和残差噪声，这些部分在帧之间共享以确保时间一致性。通过使用预训练的图像扩散模型作为基础生成器，该模型能够高效生成高质量且连贯的视频。通过在视频数据上微调预训练模型，解决了图像和视频数据之间的领域差距，增强了模型生成逼真且一致视频序列的能力。^[14] 同月，Adobe在其功能中引入了Firefly AI。^[15]

2024年1月，Google宣布开发了一款名为Lumiere的文本到视频模型，预计将集成先进的视频编辑功能。^[16] Matthias Niessner和Lourdes Agapito在AI公司Synthesia致力于开发3D神经渲染技术，通过使用2D和3D神经表示形状、外观和运动，实现可控的视频合成。^[17] 2024年6月，Luma Labs推出了其Dream Machine视频工具。^[18][19] 同月，^[20] 快手将其Kling AI文本到视频模型扩展到国际用户。2024年7月，TikTok母公司字节跳动通过其子公司Faceu Technology在中国发布了Jimeng AI。^[21] 到2024年9月，中国AI公司MiniMax推出了其video-01模型，加入了智谱AI、百川智能和月之暗面等AI模型公司的行列，推动中国在AI技术领域的参与。^[22]

文本到视频模型的替代方法包括^[23] Google的Phenaki、Hour One、Colossyan，^[3] Runway的Gen-3 Alpha，^[24][25] 以及OpenAI的Sora。^{[26] [27]} 此外，还出现了Plug-and-Play、Text2LIVE和TuneAVideo等文本到视频模型。^[28] Google还计划在2025年为YouTube Shorts推出名为Veo的视频生成工具。^[29] FLUX.1的开发者Black Forest Labs宣布了其文本到视频模型SOTA。^[30]

文本到视频模型的开发采用多种架构。与文生图模型类似，这些模型可使用循环神经网络（如长短期记忆网络）进行训练，此类方法应用于像素转换模型和随机视频生成模型，分别提升连贯性与真实感。^[31] 其他替代架构包括Transformer模型。生成对抗网络、变分自编码器（用于人体运动预测）^[32] 以及扩散模型也被用于图像生成部分的开发。^[33]

用于模型训练的文本-视频数据集包括WebVid-10M、HDVILA-100M、CCV、ActivityNet和Panda-70M等。^[34][35] 这些数据集包含数百万原始视频、生成视频、带字幕视频及辅助训练的文本信息。此外PromptSource、DiffusionDB和VidProM等数据集提供多样化文本输入，指导模型解析不同提示。^[34][35]

视频生成过程需要同步文本输入与视频帧序列，保证时序对齐与内容一致性。^[35] 由于计算资源限制，视频长度增加时生成质量可能下降。^[35]

尽管文本到视频模型性能快速提升，但其主要局限在于计算强度过高，导致难以生成高质量长视频。^[36][37] 此外，模型需大量特定训练数据才能生成高质量内容，造成数据获取难题。^[37][36]

模型可能误解文本提示，导致视频内容偏离预期。这源于语义上下文捕捉不足，影响视频与文本的语义对齐能力。^[37][35] 当前正在优化的模型包括Make-A-Video、Imagen Video、Phenaki、CogVideo、GODIVA和NUWA等，旨在提升文本-视频对齐性能。^[37]

文本到视频模型引发与内容生成相关的伦理和法律问题，可能产生不适当或未经授权的内容，包括侵权信息、虚假信息及未经许可使用真实人物肖像。^[38] 确保AI生成内容符合安全伦理标准至关重要，因其生成内容可能难以识别有害性。AI对NSFW内容或版权材料的识别过滤仍存挑战，影响创作者与受众双方。^[38]

文本到视频模型在教育宣传、创意产业等领域具有广泛应用前景，可简化培训视频、电影预告、游戏资产及可视化内容的生成流程。^[39] 这些功能为用户带来经济效益与个性化体验。 2024年完成的首部全AI生成长片《时间真相》，部分旁白由约翰·德·兰西（《星际迷航：下一代》中"Q"的扮演者）担任。该片采用Runway Gen-3 Alpha和Kling 1.6等先进工具制作，相关著作《电影人工智能》探讨了文本到视频技术的局限性与实施挑战，以及图像到视频技术在关键镜头中的应用。

• 文生图模型
• VideoPoet（未发布的谷歌模型，Lumiere (文生视频模型)前身）
• 深度伪造
• 人体图像合成
• ChatGPT