传媒行业专题研究:Vidu~国内AI视频生成模型新突破.pdf
- 上传者:药到病除
- 时间:2024/05/10
- 浏览次数:95
- 下载次数:4
- 0人点赞
- 举报
传媒行业专题研究:Vidu~国内AI视频生成模型新突破。全球AI大模型持续迭代,持续看好视频等多模态发展前景 今年以来,全球AI大模型端都持续迭代升级,包括海外的Sora、Llama3 等,国内的Kimi、昆仑天工AI、阶跃星辰等。4月27日,北京生数科技有 限公司联合清华大学发布了中国首个长时长、高一致性、高动态性视频大模 型Vidu。行业的发展进度有望不断催化传媒相关板块的发展,我们看好:1) AI视频大模型依赖多样化训练数据,高质量视频素材库价值凸显;2)AI大 模型助力应用场景发展。我们推荐:昆仑万维、光线传媒、捷成股份、值得 买。其他产业链标的包括华策影视、中文在线、中广天择、掌阅科技等。
Vidu:国内AI视频生成模型新突破
Vidu采用了团队原创的Diffusion与Transformer融合的架构U-ViT,能够 一键生成长达16秒、分辨率达到1080P的高清视频内容,其拥有丰富的想 象力,能够模拟真实物理世界,并具备多镜头生成、时空一致性高等特点。 核心团队来源于清华大学人工智能团队,首席科学家为清华人工智能研究院 副院长朱军。公司的多模态大模型为全栈自研,能够融合文本、图像、3D、 视频等多模态信息。除文生视频外,公司在文生图、3D生成等多模态能力 上均有所造诣。
Vidu快速进化,与Sora差距不断缩小
2024年1月,生数团队实现4秒视频的生成,已可以达到Pika、Runway 的效果,至3月底实现8秒视频生成,4月实现16秒视频生成,在3个月 内生成时长提升至4倍,且据4月27日中关村论坛中生数领军人朱军的发 言,Vidu会以更快的速度迭代,与Sora差距将越来越小。Vidu生成视频的 运动幅度较大。除Sora外,目前文/图生视频较难做到让人物做出复杂动作, 因此为了保证画面畸变最小,视频生成的策略为选择小幅度的运动,较难设 计复杂动作,难以处理场景和人物的一致性问题。Vidu在保证了时空一致性 的前提下运动幅度较大。分辨率赶上第一梯队,但仍为固定比例尺寸。
Vidu模型使用U-ViT架构,多模态、效果好、成本低
在U-ViT前,Diffusion模型中的主流主干(backbone)一直为基于CNN的 U-Net。U-ViT是生数科技团队设计的一种简单通用的、基于ViT的架构, 使用Diffusion生成图像,打响了扩散模型中CNN被Transformer取代的第 一枪。模型首先对输入图像进行分割处理(分割为patch),与时间和条件一 道表示为token后通过Embedding层,随后经过Transformer Block后输出 为token,并通过一个线性层转为图块,最后通过一个可选的3X3卷积层输 出为最终结果。此外,U-ViT成本优势大幅领先,主要得益于ViT架构的训 练成本较低。
- 相关标签
- 相关专题
- 全部热门
- 本年热门
- 本季热门
- 哔哩哔哩80页专题深度报告:从“人货场”看B站社区生态的养成 102 8积分
- 2020中国沉浸产业发展白皮书.pdf 100 8积分
- 深度解析家庭娱乐场景变革:从传统电视到互联网电视(152页PPT).pdf 84 6积分
- 传媒行业研究报告:AIGC将如何影响传媒行业.pdf 77 3积分
- 德勤2020科技、传媒和电信行业预测(140页).pdf 63 10积分
- 新媒体行业深度报告:字节跳动系的红利.pdf 63 5积分
- 社会服务行业深度报告:商业模式与产业链详解.pdf 55 5积分
- 互联网传媒行业深度报告:六大视频平台深度对比.pdf 50 6积分
- 哔哩哔哩深度剖析:成功破圈只是开始,商业化决定高度.pdf 48 5积分
- 娱乐传媒行业2030展望:全面迎接虚实结合的数字化生活.pdf 42 5积分
- 传媒行业专题报告:从Sora看AI应用发展探索,新质生产力有望推动TMT再下一城.pdf 22 3积分
- 传媒行业专题报告:AI+IP,AI多模态下的卖水人.pdf 17 3积分
- 传媒互联网行业春节专题:Sora有望推动AI应用加速,春节档表现佳.pdf 17 5积分
- 传媒行业深度研究:AIGC最新应用与场景研究.pdf 16 10积分
- 传媒行业2023年中期投资策略:AI应用革命正当时,传媒起舞再谱新篇.pdf 14 4积分
- 传媒行业专题报告:AIGC应用鹏程万里.pdf 13 3积分
- 传媒互联网行业2024年度投资策略:大模型不断升级,全面拥抱AI应用.pdf 12 6积分
- 传媒行业2024年度策略:关注内容和技术创新带来的新机会.pdf 12 5积分
- 传媒行业2024年度策略:AI激发创造力,MR开创新纪元.pdf 12 9积分
- 传媒行业专题报告:以MR为支点,可撬动什么?.pdf 12 3积分
- 传媒行业专题报告:从Sora看AI应用发展探索,新质生产力有望推动TMT再下一城.pdf 22 3积分
- 传媒行业专题报告:AI+IP,AI多模态下的卖水人.pdf 17 3积分
- 传媒行业AIGC专题研究:多模态大模型引领,应用端曙光初现.pdf 10 3积分
- 传媒行业2024互联网趋势展望:小程序驱动流量增长,内容进入付费拉升通道.pdf 6 3积分
- 鸣白文化-文旅短剧,抓住情绪价值.pdf 4 3积分
- 传媒行业专题研究:Vidu~国内AI视频生成模型新突破.pdf 4 2积分
- 传媒行业专题报告:复盘与展望,国产大模型的进击.pdf 4 3积分
- 传媒行业专题报告:从F1到FE,从AI到MR应用,以体育赛事为支点,如何撬动体验经济?.pdf 4 2积分
- 光线传媒研究报告:中国动画电影的领航者.pdf 3 4积分
- 传媒行业专题研究: 23年行业回暖,24Q1细分板块分化.pdf 3 3积分