中国智能视频编码行业引领者动态分析

中国智能视频编码产业链各个环节参与方分布多元。

1.标准组织机构

伴随智能技术的发展与成熟，国际与国内各编码组织相继在最新一代的视频编码标 准推进工作中融合AI、深度学习、机器视觉等智能技术，以期提高基于传统编码逻 辑的标准化方案上限，兼顾提升服务于人眼视觉与服务于机器视觉分析的视频质量， 同步发力，促进下一阶段智构视频的成熟化。

在AI辅助编码领域，海外MPAI组织的创立为AI技术与视频编码的结合搭建桥梁。 2021年MPAI发布了AI框架MPAI-AI，为执行AI模块构成的工作流提供标准环境。基 于AI的端到端视频编码MPAI-EEV（AI based End-to-End Video Coding project）是 MPAI的第二阶段战略，受益于相关研究机构的大力助推，已形成重要论文研究成果。 国内在智能视频融合编码的尝试主要依赖AVS标准组，经过AVS产业联盟、AVS工 作组、海思、华为等组织、企业的共同努力，AVS3视频和系统标准在2022年7月8 日被DVB正式批准成为下一代视频编码标准解决方案。作为国内的新一代视频编码 标准，AVS3标准的制定与推进是国内标准加速商业化落地与国际化的里程碑事件， 与DVB强强联合的合作方式促进包括AVS3在内的4K/8K超高清产业的整体发展。相 较于前一代编码标准，AVS3的效率提升接近50%，其中基准档次的目标是20%，主 要依赖适配编码标准的特定芯片与硬件实现；增强档次30%目标的完成需依托神经 网络技术，在融合媒体阶段，通过AI技术实现压缩任务，为后续搜索、内容识别的 理解分析提供辅助。AVS3+神经网络技术编码标准的应用将直观改善用户视觉感受， 结合高分辨率展示设备，提升视频细节的整体展示效果。

作为AI领域的热门技术，机器视觉在智慧城市、智慧工业、数字孪生、虚拟现实中 的尝试与应用逐步推进机器视觉代替人眼视觉执行任务进程。基于前期的学术储备 与实际产业需求，中国电信在2019年的MPEG会议上提出统一面向机器视觉的压缩 编码和面向人机混合视觉的压缩与语义表征的提案，VCM机器视觉编码专家组应运而生。VCM旨在定义一种从视频中提取压缩视频或特征码流的编码技术，保障高压 缩率与智能任务执行能力。经过探索试验初稿，需求定稿与发布证据征集。中国面 向机器智能的数据压缩编码标准工作组DCM成立于2020年1月，主要面向机器智能 与人机混合应用，侧重音视频、点云等数据信息的表征与编码，同步完善国家编码 标准并提升国际影响力。目前DCM工作组集中推进机器视觉成像方面工作，根据智 能任务对编码器进行针对性优化，使其可同时支持几类校验标准，实现工业应用中 多任务的互通互联，预计2024年DCM将出台正式编码标准。

“Coding for AI”是VCM与DCM技术方案的核心理念，即通过特征提取与特征编码， 从视频生产环节降低数据传输与计算负载，保留价值信息，适配后续机器视觉智能 分析。基于神经网络构建机器视觉模型，便于模型迭代与模块调用，优化编码测试 结构，平衡编码复杂度与传输时延，让视频采集数据精准服务于最终分析任务。 VCM与DCM编码标准均处于探索阶段，在下一代标准正式公布之前，面向机器视觉 分析的需求仍主要依赖成熟性高，具备成本优势的传统编码器实现。

伴随服务于机器视觉的视频编码技术日趋完善，编码标准的发力方向将向第二阶段 面向人机混合视觉的视频编码技术倾斜，即同一码流同时满足人眼视觉对视频质量 的要求，并兼顾机器视觉需求。未来视频行业需满足泛化要求，前置应用场景，视 频生产根据实际需求进行编码，适配所有类型的视觉任务，因此对结合AI算法并服 务于各种应用场景的智能编码技术的研究成为趋势。

2国内高校学者研究

视频编解码标准的制定与学术界前瞻性基础研究密不可分。视频与视觉技术国家工 程研究中心（原“数字视频编解码技术国家工程实验室”）依托于北京大学建设， 从事视频编解码和智能视觉信息处理技术研究，并制定了自主知识产权的AVS超高 清视频编解码系列国家标准和行业标准，成为IEEE国际标准的同时依托项目成果形 成了“技术标准-芯片终端-系统应用”的完整产业链，为国家视频编码标准制定及 大规模产业化、实现赶超国际标准做出重要贡献。中心副主任、北京大学信息科学 技术学院马思伟教授研究团队在国家自然科学基金重点项目（批准号：61632001） 资助下，围绕着基于内容分析的高效视频编码理论与方法，从传统预测/变换编码 和深度学习编码两方面开展深入研究，研究内容包括运动分析建模、结构分析建模 和认知分析及建模、基于深度学习的认知模型及特征编码方法等。

其中团队提出的 “帧—块—像素”多尺度自适应运动补偿方法实现了更精准的运动信息紧凑表示， 编码效率较前一代标准AVS2、H.265/HEVC提升一倍，并支撑了新一代AVS3视频 编码标准的制定。团队研制的8K超高清实时编解码器支撑了央视开通CCTV-8K超 高清频道，在国庆阅兵、央视春晚、冬奥赛事等重大活动中提供了实时直播保障。 此前，中心主任高文院士牵头的“超高清视频多态基元编解码关键技术”荣获了 2020年度国家技术发明一等奖，“超高清视频编解码关键技术及系统应用”获评 2021年世界互联网大会互联网科技领先成果。北京大学及其科学家团队在AVS超高 清国家视频编码标准体系制定、高效视频编码研究领域取得了一系列重大创新成果并作出了突出贡献。

IEEE 电路与系统（CAS）学会将2021年度Mac Van Valkenburg 奖授予中国科学技 术大学吴枫教授，以表彰他对多媒体非均匀编码和通信的贡献，这是该奖项历史上 首次颁发给中国大陆的学者。中科大先研院-涌现科技智能媒体计算联合实验室对 智能视频编码提出了全球领先的技术路线智构视频编码（Intelligent Structured Coding），其核心是一次编码同时满足人眼观看的图像质量要求和机器任务的语义 质量要求，解码后能够重构图像与特征，即面向人机混合应用场景、支持多任务类 别的单码流编码方案“智构编码”。这一技术架构能够有效满足视频智能应用泛化 需求，解决视频产业发展面临的挑战，也是学术界关注的重要研究方向。据了解， 中国科学技术大学李卫平教授、陈志波教授领导的课题组未来将持续发力于智构编 码方向，以泛化技术能力满足下游多样化应用需求的同时降低码率、提升压缩效率。 目前，团队已向面向机器智能的数据编码标准工作组（DCM）提交了应用场景提 案文档，编码标准化的推进将加速智能视频编码产业化进程。

3.涌现科技

涌现科技（EMERGETECH）是一家聚焦基于人工智能的人眼视觉与机器视觉融合 编解码技术的国家高新技术企业，将人工智能与视频编解码算法深度融合，通过平 衡算法和芯片设计优化，为行业提供高性能、低功耗、低成本的专用芯片、模组、 软件工具及针对特定场景的全栈应用解决方案。

涌现科技拥有业界领先的芯片全流程设计能力，在14nm、10nm、8nm等先进制程 上有成熟的流片经验；截至2022年12月累计授权及在申近百项自主知识产权，先后 获得国家高新技术企业认定、2020年度中国IC独角兽、毕马威中国第二届“芯科技” Top50、毕马威中国第三届“芯科技”Top50、2021~2022年度中国IC独角兽、 2022中国半导体行业创新企业、2022中国半导体行业最具创新突破产品等荣誉；公 司的第一代视频编解码芯片已经在14nm制程节点上量产，广泛应用于互联网视频平台、云桌面/云手机/云游戏、广电超高清、智慧城市等领域的数据中心和边缘计算节 点。

涌现科技基于自研ASIC芯片提供Seirios媒体加速专用解决方案，整合芯片架构 并打造专用异构算力平台，实现软件到硬件无缝升级。 Seirios媒体加速专用解决方案是高并发视频编解码加速产品。涌现科技整合不同架 构的优势，采用CPU+GPU+ASSP专用异构算力平台，将底层AI算法写入专用硬件 加速单元，以性能功耗比为驱动，着力于硬件-软件跨层次协调设计、将算法与芯片 深度融合，大幅提升编码效率，在实际场景中具备可编程、功耗低和运行快的特点。 Seirios方案实现软件到硬件无缝升级，多项产品性能指标引领业界。涌现科技 Seirios系列视频编解码硬件完全兼容FFmpeg和GStreamer，其中FFmpeg是当前最 主流的开源音视频处理程序，涌现科技自研ASIC转码芯片，很好兼容了FFmpeg原 有的命令和选项，并提供了经过优化的预设参数集，用户可以基于libavcodec API或 Gstreamer plugin做快速开发，实现软件方案到硬件方案的无缝提升。方案中有完整 的SDK，内含优化的预设参数集，能够提供完整解码、编码、转码、控制API，可以方便集成到自有多媒体框架；集成灵活，方便用户自主定制、开发。

产品低功耗特性助力碳中和目标，全流程国产化优势领先业界，Video+AI视频 被赋予智能基因。 Seirios方案支持多种不同分辨率输出，匹配不同设备需求。支持H.264/H.265/VP9 等多种格式相互转码，保证一进多出转码：输出一路原始分辨+三路小分辨率码流。 Seirios的单颗芯片能实现2路4K/60帧处理能力，具备极大转码数据量的优势，视频 处理性能提升明显。

高性能处理芯片赋予解决方案超低时延优势，能够多场景流畅应用，Seirios系列视 频编解码硬件的超低延时达到流畅无卡顿效果，标准的M.2/PCIe接口可扩展安装并 即插即用，极大降低了运维人员安装和维护的难度，可以在数据中心及视频处理终 端快速地广泛使用，能在直播、视频会议、云游戏、云桌面等场景下多元运用。 涌现科技基于自研ASIC芯片所创新的Seirios视频编解码加速解决方案在同样场景下 与CPU/GPU转码对比，能够大幅度节能减耗，通过将其安装在执行编码和转码的视 频处理服务器上，可以在不改变服务器配置的情况下提升处理性能。Seirios方案单 颗芯片具有最大编解码通量、最低的能耗指标，相同应用场景下横向比较，单颗芯 片的Seirios-P1功耗较CPU下降18倍，较GPU下降10倍。Seirios是媒体加速专用解 决方案，在减轻数据中心服务器的多媒体处理负担的同时，降低了整体功耗和成本。 低成本和降功耗特性助力涌现科技顺应ESG发展理念，布局碳中和宏图。

Seirios解决方案中核心的ASIC视频编解码芯片，是由涌现科技研发团队自主研发的 14nm先进制程芯片，已经从算法升级、芯片设计到软硬件集成全面实现了国产化， 顺应国产替代发展机遇，继续向行业输送创新研发活力。

涌现科技积极拓展学界和商界合作关系，牵头智能视频全新赛道，“智构视频” 核心理念开辟行业新领域。 公司与学院和社会持续开展合作，扩大行业影响力，加速“产学研用”深度融合。 学院层面，涌现科技与中国科学技术大学共同组建了“中科大先研院-涌现科技智能媒体计算联合实验室”，致力于科技前沿，在关键技术和标准上取得突破；社会层 面，公司参展2021首届中国（海南）体育用品和装备进口博览会，向社会展示 5G+8K超高清直播方案，以及自由视角全景观赛技术在数字体育领域的应用方案， 同时自主研发的芯片技术赋能更多体育应用场景，有效将8K超高清画质同步直播到 外场。公司兼顾技术前沿研究与产品商业落地，探索和开辟机器智能数字编码赛道。 机器视觉算法代替人工处理任务是大势所趋，未来视频编解码技术发展路线为面向 机器的VCM，即以语义级信息来做检测、识别等AI任务。涌现科技独创性定义的 “智能视频编码”，为重构视频场景和执行智能分析奠定基础， “智构视频”作为 全新核心技术理念，是“智能视频编码”发展的最终层级，引领智能编码行业前沿。

4.阿里云

随着5G时代的到来，互联网短视频、电商直播、游戏直播、电影电视剧等视频业务 井喷式发展，视频内容对网络带宽、数据存储的消耗加剧，探究在有限传输带宽下， 攻破海量视频消费者并发的技术瓶颈，保障终端用户的观看体验，是包括阿里云在 内的云服务企业亟需解决的问题。依托云服务领域的业务积累与前沿创新，阿里云 在视频产业已形成多样产品服务与完备技术架构。

普惠化，即降低带宽成本与服务器成本并兼顾视频质量提升，是阿里云视频云业务 布局的目的之一，围绕视频技术向云化、数字化、普惠化的演进趋势，在编码内核、 AI辅助压缩、编码器优化等角度持续突破。阿里云视频云视频编码与增强技术团队 专注于窄带高清产品的升级迭代，从人眼视觉模型出发，联合视频编码和视频修复 增强技术，节省码流同步提高视频清晰度，基于窄带高清的直播点播产品为优酷、 钉钉、手淘等阿里集团重要业务提供支撑。与高校的合作布局，为阿里云在基于模 拟编码器的视频编码、端到端联合优化、视频质量评估等方面提供最新技术支持。 该团队最新研究成果《基于可变形卷积的压缩视频质量增强网络》入选ICASSP 2022（International Conference on Acoustics, Speech and Signal Pricessing）学术 会议。

2020年11月，阿里公布首款全自研4K实时硬件编码器XGH265，XGH265采用软硬 件协同创新方案，依托协同算法，在固件上实现低计算量、控制逻辑复杂的视频处 理。针对同等视频质量，XGH265编码器较主流芯片编解码节省40%带宽。2021年 1月，阿里发布基于新一代国际视频编解码标准H.266/VVC的编解码器Ali266。 Ali266研发的核心目的是：（1）实现视频高压缩性（2）提升高清实时编码速度 （3）完备的端到端编解码生态。编码质量与编码速度优化是Ali266的主要优化维度， 目前Ali266已经实现2K，即1080p30帧每秒的实时编码能力，4K/8K超高清视频实 时编码技术为未来主攻方向。作为视频编码标准组的参与者之一，阿里云视频云在 JEVT面向人眼视觉的视频编码和MPEG面向机器视觉的视频编码标准中均有参与， 并在国内DCM标准研究领域持续发力。

内容视频化、交互线上化成为当前社会发展显性趋势，疫情的反复爆发加速新内容、 新交互的演化进程，视频云可重构多领域行业，协同云端，增强业务可拓性。依托 阿里云丰富的生态体系、覆盖全球的基础设施、完备的视频云解决方案产品矩阵， 兼顾自身视频业务并赋能视频行业下游多场景应用，向互联网娱乐、在线教育、金融、政务、电商零售等数十个行业不断渗透。服务稳定性、部署性价比、数据安全 性等维度的优势使阿里云在视频云服务行业占据重要地位。