特斯拉智能驾驶方案介绍

端到端方案加速模型迭代，构建更类人驾驶体验。

特斯拉智能驾驶方案可以简单分为四个阶段。2014 年10 月-2016 年7 月，特斯拉与 Mobileye 深度合作，当时的 Hardware 1.0 硬件配置为1 个前置摄像头+1个毫米波雷达+12 个中程超声波雷达，选用 Mobileye EyeQ3 芯片，软件方案为Mobileye黑盒模式。至 2016 年 10 月，特斯拉开始自研软硬件系统，发布第二代硬件Hardware 2.0，配 8 个摄像头+12 个远程超声波雷达+1 个前置毫米波雷达，选用英伟达Tegra Parker芯片，芯片算力从Mobileye EyeQ3的0.256TOPS提升到NIVIDTegra Parker 的 1TOPS，最关键在于英伟达芯片+安森美等传感器脱离mobileye的软硬件一体模式；软件上选用行业内通用的卷积神经网络实现2D 图像检测，但是 2016 年 10 月更新硬件 HW2.0 版本，直到 2017 年1 月Tesla 配备HW 2.0的车辆补齐 AEB、防碰撞预警、车道保持、自适应巡航等多种Autopilot 功能；2019年-2021 年 5 月，特斯拉升级 Hardware3.0 硬件配置，传感器不变，搭载2个自研 FSD 芯片，同时逐步在软件算法引入 BEV+Transformer+Occupancy network等模型，技术层面引领行业发展。2021 年 5 月起，特斯拉转向纯视觉方案，逐步减少超声波雷达及毫米波雷达配置，芯片配置保持不变。2023 年后，特斯拉发布新一代端到端大模型及新一代硬件配置 Hardware 4.0，智能驾驶技术路线进入新时代。而新一代智能驾驶系统 HW5.0（又名 AI5.0）有望25 年上市，进一步提升自动驾驶系统处理能力。

软件升级大趋势为向端到端持续迭代。端到端的核心是减少人工干扰，扩大模型处理复杂场景上限。传统分解式模型对不同传感器传递的信息进行特征提取，并通过人工定义进行 rule-based 代码编写对特征加以处理，通过感知端神经网络大模型传输给规划端，经过人工算法定义场景并加以执行，在核心关卡均需人为参与规则定义，而现实自动驾驶场景复杂，难以穷举。端到端以date-based取代rule-based，以一整个神经网络模型取消传统分解式模型下30 万行代码，通过海量数据训练确定关键参数，大幅减少人为干扰场景，进而有效扩大自动驾驶模型处理复杂场景上限。

进一步，智能驾驶可以分为感知、规划、执行三个层面；端到端模型可以分为感知端到端、决策端到端、模块化端到端和 one-model 端到端四类；前面三种为传统分解式模型，即感知模型与规划模型分开，传感器输入信息经过感知模型处理后传递给规划模型并进行路径决策，依照神经网络覆盖度加以区分；1）感知端通过 BEV+Transformer 等以神经网络模型覆盖，感知稳定性有效提升即为感知端到端；2）规划、决策等以一个神经网络模型覆盖，但与感知模块保持独立训练，同时感知与决策连接端口如障碍物位置、道路边界等仍是基于人类理解的rule-based；3）感知和决策模块需要通过梯度传导联合训练，但是感知和规划两个模块输出的并不是 rule-based 下抽象结论，而是特征向量。One-model端到端则以一整个神经网络模型处理数据全流程，不再有明确的感知和规划定义，最大保证信息无损化传输，减少人工干扰，有效加速模型迭代。

参考特斯拉的迭代方式，率先在分解式模型下通过感知层神经网络化迭代实现感知端到端带来无图驾驶，2018-2019 年特斯拉构建了多任务学习网络HydraNet，在 input 端输入摄像头的原始图像数据，在主干网络使用卷积神经网络模型regnet 进行特征的识别提取，对特征数据赋予时间信息，进一步实现对不同时间目标的融合。HydraNet 设置多个 head 同时处理多项任务，比如同时检测车道线及红绿灯等；主干网络提取的特征在多个 head 任务中共享，减少重复计算；同时任务间又相对独立，存在较低耦合，不会互受影响。2021 年推出BEV+Transformer架构，2022 年又提出 Occupancy network，通过感知算法处理传感器数据，然后将处理结果送入规划控制模型得出交互博弈的动态最优解。特斯拉在感知、规控两处模型创新性设计引领行业发展。

2023 年特斯拉推出 one-model 端到端架构，FSD V12 实现神经网络从感知端向规划端延伸。传统自动驾驶软件开发基于模块化方法，包括用于物体检测和追踪、轨 迹 预 测 以 及 路 径 规 划 和 控 制 的 独 立 组 件 。特斯拉2021 年前后提出BEV+Transformer 架构，感知端首次引入神经网络大模型，加速模型进一步向脱离人类穷举规则进化。神经网络大模型核心是人为定义超参数决定训练过程和训练架构，但在训练过程中通过数据及反向传播和梯度下降等方法不断更新神经网络核心的权重和偏差等参数，增强基于数据得到的训练结果，模型整体从rule-based 向 date-based 演进。特斯拉 FSD V11 及之前的版本，自动驾驶模型更多在感知端实现神经网络的迭代和演进，在规划端仍是依靠感知端输出结果并做人类定义规则模式。而端到端模型端到端自动驾驶系统采用一个统一模型接收传感器输入并生成车辆轨迹，将神经网络延伸至规划端，简化数据处理中人为定义过程，并提供了一种更加全面、以数据为依据的方法来处理现实世界中的各种情况。

FSD V12 优势在于提供更类人驾驶体验，能够在部分场景自主发掘提供超越地图导航表现。FSD v12 能够解决狭窄道路对向行驶、临时施工标志等场景，在减速带、制动、黄灯等情况能够实现更加平滑的处理。甚至在部分环境下，FSDV12系统能够通过传感器自主发现更优路径，脱离导航地图推荐路线实现更自主的驾驶体验。

具体看 FSD V12 在施工区域、减速带、丝滑转向、道路选择等场景存在明显改善。根据 Tesla FSD Tracker 数据，用户从 0-5 为特斯拉FSD 运行的各项场景打分，0分代表从无运行，5 分代表始终运行，我们发现 FSDV11.4.9 在施工区域及减速带场景云执行效果并不好，较少做到减速平稳运行或者识别施工区域指示牌等情况；而在 FSD V12.3.6 下出现明显改善，多数路况均能实现模型的良好运转。

用户体验升级同样体现在接管里程延长。根据 Tesla FSD Tracker 网站数据，特斯拉 FSD V12.3 在关键场景的接管里程从大约 100 英里提升到300 英里量级，同时大量测评博主及个人用户提出 V12 版在左转、复杂参与者场景等具有更灵活处理能力，具备部分场景脱离导航灵活行驶的类人驾驶能力，端到端模型的泛化能力得到明显验证。2024 年特斯拉股东大会提出 FSD 模型目前已经实现几乎完全消除静态物体碰撞影响，同时进一步在影子模式下运行FSD 模型验证并提升端到端表现。

General world model 提供真实世界仿真，加速自动驾驶模型进化。自动驾驶模型迭代验证需要海量数据支撑，momenta 曾提出需要1000 亿公里（100 万台年跑10 万公里的出租车）才能验证 L4 级自动驾驶，世界模型可以加速模型验证。世界模型是指通过对感知信息的处理和数据建模实现对现实世界的模拟和真实表达，核心作用为估计当前环境缺失信息和预测未来发展状态。现行世界模型可以分为以 GAN 为基础的模型（IRC-GAN、TGANs-C、TFGSN、StoryGAN、TiVGAN等，生成器与判断器对抗训练，生成更真实视频）、基于自回归建模（GODIVA、VideoGPT等，关注时间序列中依赖关系）、扩散建模（Imagen Video、SVD、CogVideo等，将先验数据转换为随机噪声并逐步还原，图像处理能力出色，sora 源于此）和掩码建模（MAGVIT、VideoPoet、WorldDreamer 等，将部分元素替换或者隐藏以用于模型训练，在自然语言处理表现出色）模型，均取得良好生成效果。

世界模型更进一步助力或在于构建自动驾驶基础结构。对自动驾驶而言，世界模型意义在于模拟环境解决 corner case 训练，通过自监督学习方式生成更多数据，解决自动驾驶模型训练中长尾问题，现存包括 Iso-Dream、MILE、TrafficBots、Think2Drive 等基于世界模型模拟环境用于测试训练端到端模型；更进一步可能在于构建自动驾驶模型本身，在现实场景中实现世界模型对未来场景等预测，Drive-WM 将世界模型与端到端规划结合，利用世界模型生成从规划器中采样轨迹预测未来场景，使用基于图像的奖励函数评估未来，并选择最优轨迹扩展规划树。

特斯拉引领，国内新势力积极跟进大模型的布局。目前特斯拉、momenta（感知+规划端到端及 one-model 端到端两条线）率先实现模型落地，国内华为、小鹏、理想均已实现感知及规划端到端（神经网络覆盖），小米、大疆等玩家暂时停留在感知端到端阶段。