汽车行业深度报告：AI系列深度17期，视觉智能为何引入Transformer？.pdf

随着AI大模型技术的深入发展，视觉智能作为感知物理世界的核心环节，其底层架构正经历从卷积神经网络（CNN）向Transformer的深刻变革。本报告旨在厘清视觉Transformer化的本质、演进路径及其与语言智能发展的差异，为理解未来物理AI的发展趋势提供理论支撑。

架构演进的内在逻辑

报告指出，CNN之所以在AI 1.0时代占据主导，源于其局部连接、权重共享和平移等变三项视觉归纳偏置与图像数据的高度契合。然而，这种强先验也导致了局部感受野受限、任务专用性强及全局建模不足等结构性局限。Transformer通过确立“图像patch即token”范式，实现了全局建模与长距离依赖的高效处理，并凭借弱归纳偏置在大规模预训练下释放数据价值。但视觉数据并非天然离散序列，且对空间先验需求强烈，因此视觉演化路径表现为融合与再平衡，而非彻底替换。

三大演进阶段与基础模型化

视觉Transformer的演进可分为图像token化、可扩展通用骨干形成、视觉基础模型兴起三大阶段。在这一过程中，Swin、PVT等模型重新吸收了CNN的局部性与多尺度先验，ConvNeXt则证明了ViT经验可反哺CNN。随着DINOv2、CLIP、SAM等基础模型的出现，视觉智能正从封闭感知走向开放、可提示、可迁移的基础模型阶段，实现了自监督预训练、图文对齐和可提示分割的技术突破。

物理AI与智能驾驶的前景

对比语言智能，视觉智能已完成架构与规模跃迁，但在推理能力上仍滞后。报告认为，数字AI难以独立完成物理世界建模闭环，物理AI将成为未来增量更大的方向。智能驾驶作为最先跑通闭环的代表场景，其商业化落地与技术迭代值得重点关注。同时，报告提示了技术迭代不及预期、大模型厂商增速放缓及云服务商资本开支调整等潜在风险。