自动驾驶行业专题：端到端架构渐行渐近.pdf

自动驾驶行业专题：端到端架构渐行渐近。模块化架构性能有限，端到端架构有望成为自动驾驶的终极解决方案。当 前量产的智能驾驶汽车系统基本都是采用模块化架构，将驾驶任务拆解到 各个模块，但是级联误差问题、各个模块之间重复计算造成的车载算力资 源浪费、模块之间信息交互不畅等问题极大地限制约了模块化架构性能。 端到端自动驾驶最直观的变化就是将多个小模型整合成了一个“大模型”， 输入原始数据通过大模型直接生成驾驶指令。相比于模块化架构，端到端 极大地提升了系统的性能上限。目前端到端最大的问题是模型中所谓的黑 盒问题，由于神经网络过于复杂因此造成模型计算过程的可解释性较差， 因此大模型结构下的端到端自动驾驶对原始数据的质量有着较高的要求。 马斯克已经在推特上表示下一代的 FSD 将会采用端到端架构，我们认为特 斯拉在技术路线上的选择对行业有较强的指导意义，或将推动产业落地进 程。

特斯拉 BEV 实现由 2D 向 3D 跨越，端到端可靠性大幅提高。目前，特斯 拉已经基于 Transformer算法成功将摄像头采集到的 2D信息成功转化为带 有深度信息的 3D 视频流（BEV 鸟瞰图）。Transformer 算法采用的 Attention 机制是 GPT、BERT 等人工智能领域热门算法的核心机制，能够找寻各个 数据元素与其他所有数据元素之间的关联，从而大幅提高算法的泛化能力。 相比于 RNN，Transformer 算法允许并行计算且效率更高，性能表现突出。 往后看，3D 的 BEV 信息为端到端架构提供了包含更多信息的原始输入数 据，在大模型内部可进一步引入 Attention 机制来实现更好的解读驾驶过程 中与周围环境的交互情况，极大地提高智能汽车的可靠性。

TSN、多模态等新技术助力端到端驾驶的落地加速。时间敏感网络（TSN) 与传统以太网相比，TSN 能够提供微秒级确定性服务，降低整个通信网络 的复杂度，并具有精准的时钟同步能力、确定性流量调度能力，以及智能 开放的运维管理架构，可以保证多种业务流量的共网高质量传输以及确定 性的时延。考虑到端到端自动驾驶或将以 BEV 视角下的 3D 视频流作为原 始数据，对网络的负担加重，确定性时延的重要性变高，因此 TSN 大概率 成为端到端自动驾驶解决方案中的必然选择。多模态方面，与传统的单模 态模型相比，多模态大模型的独特之处在于它可以从多个数据源中获得更 加全面有价值的资源，从而提高模型的性能和鲁棒性，帮助自动驾驶系统 理解各种类型的传感器输入源，从而生成更好的驾驶指令。