Meta发布Movie Gen系列模型，正式进入视频生成赛道，在文本到视频合成、视频个性化、视频编辑、视频到音频生成等任务上取得显著成果。
核心模型与功能：
- Movie Gen Video（300亿参数）：基础文生视频模型，可生成长达16秒的高质量视频，基于Transformer架构和LLaMa3骨干结构。
- Movie Gen Audio（130亿参数）：音频生成模型，可生成与视频画面和情绪匹配的音频，基于扩散Transformer（DiT）架构和流匹配（FM）训练。
- Personalized Movie Gen Video：个性化视频模型，根据文本和用户形象生成以用户为主角的视频，保持用户身份并遵循文本提示。
- Instruction-Guided Precise Video Editing：指令引导下的精确视频编辑模型，允许用户使用文本指令对视频进行精确编辑，包括风格和细节。
模型原理与训练方法：
- Movie Gen Video：采用TAE+Flow Matching+Transformer架构，通过低分辨率预训练、联合预训练和高分辨率微调三个步骤提升生成质量。TAE将时空维度压缩8倍，流匹配（FM）+最优传输（OT）方法提升训练和推理效率。模型并行方法支持模型在参数量、输入token和数据集大小三个维度上的扩展。
- Movie Gen Audio：基于流匹配的生成模型和扩散Transformer架构，增加调节模块提供控制。逐帧添加视觉和音频特征改善视频-音频对齐，训练数据涵盖屏幕上的叙事声音、生成叙事化的屏幕外音频和非叙事音频。
研究结论：
- Movie Gen系列模型在生成质量、一致性、真实度、美学等方面表现优异，超越RunwayGen3、LumaLabs等竞品。
- 个性化视频模型在人物身份正确性和面部一致性方面优于此前SOTA模型。
- 可编辑视频模型无需大量监督数据，编辑效果显著优于其他模型。
- 创意生成市场潜力巨大，个人和企业可应用于社交媒体、教学、广告、游戏等领域。
- 创意编辑市场，“文本+UI”的控制方式未来或将成为主流。
- 模型架构创新尚无止境，Transformer架构在多模态生成领域适用性广泛。
- 高质量数据及处理对多模态大模型训练起决定性作用。
- 扩大训练数据、计算规模、模型参数的重要性（Scaling Law）依然成立，技术创新同样重要。
投资建议：
- 关注英伟达、AMD、博通等算力基础设施企业。
- 关注Adobe、万兴科技、美图公司等音视频创意类赛道企业。
风险提示：
- 技术迭代不及预期的风险。
- 商业化落地不及预期的风险。
- 政策支持不及预期风险。
- 全球宏观经济风险。
