Transformer在生成式视觉中是如何逐步替代传统架构的？

Transformer在生成式视觉领域的融入并非一蹴而就，而是经历了由局部模块引入到核心架构替换的渐进式演进，主要包含四个关键环节。

第一环节是作为自回归序列生成器。在2021年左右，DALL·E1和VQGAN等模型尝试将图像离散化为token序列，利用Transformer进行统一建模。这一阶段的核心贡献在于证明了图像可以被token化，并且视觉生成可以像语言模型一样通过序列方式进行建模。此时，Transformer替代了传统的卷积或循环式生成网络，主要解决的是图像序列化的建模问题。但由于自回归生成存在顺序依赖，导致推理效率较低且全局一致性难以保证，因此这一路径并未成为文生图的最终主流。

第二环节是作为文本条件编码与注入机制。随着CLIP等视觉语言模型的发展，Transformer开始承担文本语义编码的功能。在Imagen、Stable Diffusion等模型中，Transformer编码器将文本转换为语义向量，并通过交叉注意力机制注入到扩散去噪网络中。这一环节替代了GAN时代较薄弱的类别标签条件机制，解决了自然语言与视觉概念的对齐问题，使自然语言成为图像生成的主要控制接口，直接推动了2022年文生图应用的爆发。在此阶段，扩散模型仍是生成主干，Transformer主要发挥语言理解和条件接入的作用。

第三环节是扩散骨干替换，以2023年提出的DiT模型为代表。DiT使用Transformer替代了传统扩散模型中的U-Net骨干网络，在潜空间的图像块（patch）上进行建模。这一改变替代了卷积式的去噪骨干，验证了视觉生成同样具备规模化扩展的潜力，将视觉生成接入了大语言模型时代的Scaling Law路线。需要注意的是，此时Transformer改变的是网络的骨干实现，而非扩散去噪这一核心范式本身。

第四环节是多模态统一与时空扩展。在Sora、Veo等最新模型中，Transformer进一步成为视频与多模态生成系统的统一建模框架。它处理连续时空数据，替代了单一的图像生成网络，解决了从单图创作向视频生成及多模态交互演进中的时空一致性问题，推动生成式视觉向“世界模拟器”方向发展。

综上所述，在当前生成式视觉体系中，Diffusion模型凭借其稳定的去噪生成范式占据主角地位，而Transformer则作为工程化骨干升级与语言可控接口的关键组件，二者共同构成了当前AI视觉生成的技术底座。