计算机行业专题报告：Meta Movie Gen的论文告诉我们什么？.pdf

计算机行业专题报告：Meta Movie Gen的论文告诉我们什么？Movie Gen：音视频两手抓，模型效果亮眼。2024年10月4日，Meta团 计算机 20% 10%-1%-12%-23%-34% 沪深300 上证指数 分析师 杨烨 SAC证书编号：S0160522050001 yangye01@ctsec.com 分析师 李宇轩 SAC证书编号：S0160524080001 liyx02@ctsec.com 相关报告 1. 《智驾月报：补贴政策见效，网联化 推进》 2024-10-17 2. 《十大不容忽视的数据要素新政细 节》 2024-10-16 3. 《特斯拉发布Cybercab，预期三年内 量产》 2024-10-13 队发布论文《Movie Gen: A Cast of Media Foundation Models》，介绍了一系列 基础模型Movie Gen，该模型在文本到视频合成、视频个性化、视频编辑、视 频到音频生成等多个任务上取得了显著成果，标志着Meta正式进入视频生成 赛道，与Sora、Pika、Runway 等进行竞争。Meta通过扩大训练数据、计算 资源和模型参数，使用 Flow Matching（流匹配）方法训练的 Transformer 模 型，打造Movie Gen的2种基础模型：Movie Gen Video（300亿参数）和Movie Gen Audio（130 亿参数），生成高质量的视频或音频。基于Movie Gen Video基 础模型进一步训练与微调后，得到可以生成可个性化视频的 Personalized Movie Gen Video 模型和可精确编辑视频的Movie Gen Edit。

多模态大模型架构与训练方法持续创新，向实现应用落地大幅迈进。 Movie Gen 系列模型打开创意生成与创意编辑市场AI应用落地的新的想象空 间，“文本控制生成”的方式将逐步融入创意工作流，“文本+UI”并存的模式 将长期持续；模型架构创新尚无止境，“流匹配+最优传输+纯 Transformer”生 成效率、质量均优于DiT；对于多模态大模型预训练或是微调，高质量的数据 及处理起到决定性作用；未来在模型训练方面，获得更多的算力基础依然是必 不可少的，而架构等技术创新有望持续提升训练效率和生成质量，两者并不矛 盾。