汽车行业AI系列深度19期：多模态如何从模型拼接走向统一？.pdf

多模态智能的本质是将文本、图像、音频、视频等映射进统一表示，并完成理解、推理与交互。本报告依据模态对齐发生的阶段，将多模态大模型发展划分为三个时期：2021—2023年的外挂式/组合式阶段，通过视觉编码器与连接模块将图像接入语言模型，虽工程高效但存在信息损耗；2023—2024年的原生多模态阶段，以Gemini为代表，将对齐前移至预训练阶段，实现多模态联合建模；2024年至今的全模态Omni阶段，以GPT-4o为标志，实现文本、视觉、音频的实时统一交互，显著降低延迟并保留非文本信息。

报告指出，Omni阶段后多模态发展面临理解与生成表征冲突、离散与连续模态生成范式统一、推理过程多模态化不足等瓶颈。为解决理解与生成统一问题，业界探索了纯自回归、自回归加扩散混合、解耦再统一三条技术路线。其中，解耦视觉编码以共享语言骨干的路线在平衡理解与生成能力方面表现突出。

在多模态推理方面，当前仍以语言思维链为主，未来将向视觉工具增强、视觉—语言交错推理、多模态潜空间推理及具身闭环推理演进。报告认为，数字AI底座模型发展路径已清晰，但物理AI因能实现物理世界建模闭环，将成为增量更大的方向，智能驾驶作为最先跑通闭环的场景，值得重点关注。