视觉Transformer为何未像语言领域那样彻底替换CNN？

视觉Transformer未像语言领域那样彻底替换CNN，根本原因在于视觉数据与语言数据在本质属性上的差异，以及由此导致的归纳偏置需求不同。

首先，数据形态与先验需求的差异决定了架构选择的复杂性。语言数据天然是离散的一维序列，与Transformer的输入形式高度契合，因此Transformer可以较为彻底地替换RNN。相比之下，图像数据是二维网格结构，具有强烈的空间局部性和平移等变性。CNN的局部连接、权重共享和平移等变三项视觉归纳偏置，正是针对这种数据结构设计的，使其在数据规模有限时具有极高的学习效率。而标准Transformer缺乏这些内置的空间先验，直接应用于视觉任务时，往往需要依赖位置编码、大规模数据预训练或通过窗口注意力、层级结构等改造来补充空间结构先验，这增加了计算成本和工程复杂度。

其次，计算效率与落地场景的限制阻碍了全面替换。全局自注意力的计算量随token数量增加呈平方级增长，对于高分辨率图像而言，直接使用全局注意力成本极高。虽然Swin Transformer等通过窗口注意力机制缓解了这一问题，但在实时性要求高、算力受限的边缘端或移动端场景中，以YOLO系为代表的卷积检测器依然是工程主力。此外，ConvNeXt的研究表明，纯卷积网络经过现代化训练范式的优化，也能达到与视觉Transformer相当的性能水平，证明CNN并未失去竞争力。

最后，视觉任务的多样性要求架构具备灵活性。视觉任务输出形态多样，包括类别、检测框、分割掩码等，通常需要在骨干之上叠加专门的任务头。Transformer在视觉中更多扮演骨干网络的角色，常与CNN混合使用，以兼顾全局建模能力和局部特征提取效率。这种“组件化”和“混合化”的趋势，使得视觉架构演进表现为CNN与Transformer的双向借鉴与融合，而非单一架构的垄断。未来，随着物理AI的发展，视觉模型将更注重与物理世界的交互闭环，架构选择将更加务实，倾向于根据具体场景需求灵活组合不同架构的优势。