物理AI中Token化器的本质及其在智能驾驶中的作用是什么？

在物理AI中，Token化器的本质是重型编码网络，这与数字AI中轻量的文本分词器存在根本差异。文本天然是离散且带语义的符号序列，语言本身已由人类对世界完成一轮编码，因此文本分词通常只是把离散符号映射为Token，属于相对低成本的输入处理环节。然而，物理世界的输入由连续光子、点云、运动和空间关系构成，缺乏天然、通用、可直接处理的物理世界Token化方案。

物理AI需要在进入主体模型前，先完成连续信号到可学习表征的转换。车端BEV编码器、占用网络、VAE、3D编码器等承担了从连续物理输入到可学习表征的核心转换任务。这些网络不仅负责数据的离散化，还直接产出嵌入，二者无清晰边界。离散化和嵌入不是预先给定的，而是由网络学习形成。这意味着物理AI迭代中多出一段数字AI无需经历的流程：先将三维物理空间构建为可学习底座。

在智能驾驶中，Token化器的作用是将原始的、非结构化的物理信号转化为模型可理解的数值表示。例如，BEV编码器将多相机图像统一到三维向量空间，占用网络将空间划分为体素并预测占据状态，这些都是为了构建一个度量一致、可计算的三维环境表征。这种表征使得模型能够进行后续的识别、预测、规划与控制。由于物理信号的复杂性和连续性，构建高效、准确的Token化器需要巨大的计算资源和复杂的网络结构，这构成了物理AI相比数字AI多出的关键工程门槛。随着技术发展，如GAIA-2和Cosmos所示，Token化器正从离散向连续潜在空间演进，进一步提升了表征的紧凑性和预测能力。