AI大模型给自动驾驶领域带来哪些变化？

AI 大模型带来感知层、决策层和人车交互的变化。

1. 自动驾驶感知层：大模型提升传感硬件的复杂度和精度

大模型的应用有望降低自动驾驶传感器硬件成本，加速自动驾驶普及。 自动驾驶传感器主要包括摄像头、超声波雷达、毫米波雷达、激光雷达、GPS 等。超声波雷达在 0.1-3 米间精度较高，但易受天气和车速影响，主要应用于智能泊车功能；摄像头是实现众多预警、 识别类高级辅助驾驶功能的基础；毫米波雷达使用波长为 1-10 mm 的电磁波，具有较强的穿透性， 可全天候工作，不受极端天气和夜晚影响，测距可达 200 m，但是分辨率有限，无法清晰辨别较 小的物体。激光雷达精度高（角/速度/距离分辨率），响应速度快，最远的探测距离高达500米， 但目前成本高，且抗干扰能力弱。

目前，传感器路线尚无定论，主流自动驾驶厂商主要采取三种： 纯视觉方案：以特斯拉为代表。使用多颗摄像头为传感器，采用 Transformer+BEV 算法或 Occupancy 算法，成本较低，更接近人类驾驶；但较易受环境和天气影响，需要路外数据补充缺 乏的长尾场景。 视觉+毫米波雷达方案：毫米波雷达的全天候识别能力可提升自动驾驶系统在极端天气和幽暗环 境下的安全性。值得注意的是，根据太平洋汽车等平台，特斯拉最新自动驾驶系统 HW 4.0 可能 在车头重新搭载了 1 颗前向 4D 毫米波雷达。 视觉+毫米波雷达+激光雷达方案：是短期内实现高等级自动驾驶的关键。根据小鹏汽车、哪吒汽 车、智目科技、辰韬资本等公司发言人在第十届全球新能源汽车大会（GNEV11）上的讨论，短 期内（1-3 年）激光雷达对自动驾驶都是必要的，可以加快推出自动驾驶系统的时间，并提高安 全性。

大模型的应用有望降低自动驾驶传感器硬件成本，降低自动驾驶普及门槛。根据毫末智行分析， 自动驾驶 1.0 时期为硬件主导，通过增加硬件投入增强感知能力；2.0 时期为软件驱动，基于规则 的小模型逐渐应用到自动驾驶系统；而数据驱动的 3.0 时代已经开启，通过数据驱动算法模型快 速迭代，可减少对传感器硬件数量的依赖。例如华为 2023 年 4 月发布的最新自动驾驶 ADS2.0 系 统，较 ADS1.0 激光雷达减少 2 个，毫米波雷达减少 3 个，摄像头数量减少 2 个，但依靠 Transformer+BEV 算法的提升，自动驾驶功能增强，新增了城区车道巡航辅助增强和哨兵模式。 多模态大模型提升自动驾驶安全性。尽管纯视觉方案具有成本优势，激光雷达可为视觉方案提供 感知冗余。弗洛斯特沙利文认为，在未来几年内随着雷达硬件成本下降和多模态大模型的发展， 视觉+毫米波雷达+激光雷达方案凭借安全冗余的优势仍将在 L2+高等级自动驾驶中受到广泛选择。

AI 算法复杂度和精度提升，主流传感器算法从决策级融合算法逐渐向特征级融合算法过渡。决策 级融合算法是将各传感器数据分别进行特征提取并进行识别，最后融合感知信息以备决策。决策 级融合算法对不同传感器分别建立识别模型，其算法复杂度低、算力要求小，且便于进行不同传 感器组合，是目前自动驾驶车企采取的主流方案；但是该方法精度有限，在城市道路等复杂场景 下适用性较差。特征级融合算法是在多传感器特征提取的基础上进行特征融合并识别，较决策级 融合信息丢失更少，精度更高，同时所需算力有所提高但仍低于数据级融合算法。

Transformer 大模型的应用使数据驱动的感知算法快速发展。特斯拉 FSD 系统目前采用纯视觉传 感器，将多个摄像头获取的 2D 图像在 Occupancy 网络进行特征融合，再使用 Transformer 模型 进行训练；毫末智行将摄像头+雷达多模态传感数据进行前融合，并使用 Transformer 模型训练； 小鹏汽车亦采用多摄像头数据 BEV 空间+Transformers 融合方案。 在感知领域，现有自动驾驶厂商凭借实车数据积累占据大模型先机。主流厂商在城市领航辅助驾 驶（NOA）中采用 BEV 算法，特斯拉率先应用的 BEV+Transformer 感知大模型基于摄像头硬件 +CV 大模型，可实现“重感知、轻地图”乃至彻底“脱图”。多家国内主流自动驾驶车企已宣布 开发和量产基于 BEV+Transformer 模型的感知架构。百度于 2022 年 11 月推出 ANP3.0 系统，预 计将于 2023 年内实现量产，率先搭载该模型的集度 ROBO-01 车型预期于 2023Q3 交付；小鹏汽 车宣布在中国率先量产了基于 BEV+Transformer 模型的 XNET 架构，自 3 月开始城市 NGP 将在 广深沪多城市多车型加速落地；23 年下半年，基于 XNET深度学习算法的 XNGP 将彻底脱高精地 图；华为 ADS 2.0 架构已于 4 月落地，预计 Q2 将无图商用高阶智能驾驶方案推广到全国 15 城， Q4 推广到 45 城；毫末智行于 2023 年 4 月宣布 DriveGPT 认知大模型系统将首先搭载在 6 月正式 上市的新摩卡 DHT-PHEV；商汤于 2023 年 4 月宣布 BEV 环视通用感知算法已进入实车量产阶段，其中广汽埃安 aion lx plus 车型已于 2023 年 1 月上市；蔚来于 2023 年 5 月发布 Banyan2.0.0 系统，正式实行 BEV 模型量产上车，将于 6 月 OTA 升级多款 2022、2023 款车型；地平线等厂 商也纷纷宣布将在 2023 年内实现 BEV+Transformer 模型架构的落地。理想汽车将在很快向北京 和上海的内测用户交付不依赖高精地图的城市 NOA 功能，使用自研的类似 BEV 的神经先验 NPN 网络（Neural Prior Net），也在红绿灯信号识别、通行规划控制等方面引入大模型算法。理想也 将在下半年开放通勤 NOA 功能，可以在 1-2 周内完成上班通勤路线的激活。

数据驱动的大模型落地推动传感器硬件发展。摄像头分辨率提升有助于感知模型精度提高，但同 时也会带来计算量的增加，提升算力和传输带宽需求。特斯拉HW3.0系统使用8颗分辨率为1.2M （1280x960）摄像头，总算力约为 144TOPS；据媒体报道，HW4.0 系统将使用 12 颗分辨率为 5.4M（2896x1876）摄像头，总算力约为 500TOPS。国内理想 one, 蔚来 ET7，小鹏 SUVG9， 极氪 001 等自动驾驶高端车型纷纷实装 8M 摄像头，以达到更高的感知精度和更远的感知距离。

4D 毫米波雷达落地，毫米波雷达有望迭代。 4D 毫米波雷达在传统毫米波雷达的距离、方位、速 度三个维度基础上增加了高度，从而具有更高分辨率和一定成像能力，有望取代3D毫米波雷达。 据高工智能汽车研究院预计，2023 年中国乘用车市场前装 4D 毫米波雷达将突破百万颗，到 2025 年 4D 成像雷达占全部前向毫米波雷达的比重有望超过 40%。4D 毫米波雷达可与纯视觉方案结合， 提高感知精度；也可部分替代激光雷达，应用于侧向感知或低等级自动驾驶的前向感知中，提供 兼具成本和精度的硬件解决方案。例如英特尔子公司 Mobileye 计划 2025 年在侧向感知中使用毫 米波雷达代替激光雷达。

高线束激光雷达在角分辨率和点云数量上较 4D 毫米波雷达仍具有优势。高线束（32 线以上）激 光雷达通过对周围环境扫描能够形成 3D 图像模型，可在横向 120°视场范围生成百万/秒的点云 量，满足高级别自动驾驶的感知需求；而 4D 毫米波雷达虽具有一定成像能力，但目前生成点云 仅可达到十万/秒的数量级，角分辨率也逊于激光雷达。对于感知大模型来说，数据量至关重要， 因此，短期内对于多模态感知模型，高线束激光雷达仍无法完全被毫米波雷达取代。 激光雷达技术从机械式向全固态升级，降本有望。MEMS、FLASH 激光雷达已逐步走向市场，有 望降低激光雷达成本并提高稳定性，从而为激光雷达在自动驾驶领域的应用创造更广阔空间。 超声波雷达成本低廉，但工作距离很近，特斯拉、毫末智行等公司已采用视觉方案代替超声波雷 达。超声波雷达主要应用于泊车辅助系统，进行低速高精度下的距离测量，基于视觉的 Occupancy 网络+Transformer 模型有望替代超声波雷达实现该功能。但对于 L0-L2 低级别辅助驾 驶车辆，装载超声波雷达仍是更具成本性和安全性的选择。

综合来讲，视觉方案和视觉+激光雷达融合感知方案均可使用 AI 大模型以提高感知精度，但两者 对硬件有着不同的需求： 纯视觉方案中，摄像头分辨率和成像质量要求高，已有 12M、15M车载摄像头处于研发状态；4D 毫米波雷达可作为视觉方案的辅助，提供前向和侧向感知，提高感知精度和安全性。 视觉+激光雷达融合感知方案中，摄像头参数要求亦逐步提高，4D 毫米波雷达可部分取代激光雷 达应用于侧向感知，激光雷达仍作为前向感知的关键传感器，车载激光雷达将从机械式向全固态 升级。

两种技术路线均需要多个摄像头进行视觉传感，两者后续发展的关键在于：多模态大模型较纯视 觉模型的发展速度，激光雷达的降本趋势等。

2.自动驾驶决策层：基于学习的决策规划算法走向主流，AI 认知大模型上线

相较于传统基于规则的决策规划算法，基于学习的决策算法具有更强的灵活性和智能性。基于学 习的决策算法，即通过对环境样本进行自主学习，由数据驱动建立行为规则库，利用不同的学习 方法与网络结构，根据不同的环境信息直接进行行为匹配。进一步的，基于学习的决策算法可分 为数据驱动型学习方法和强化学习方法。 数据驱动型学习依靠自然驾驶数据直接拟合神经网络模型，以达到自动驾驶行为的高决策水平。 其需要海量训练数据，数据收集成本和耗时高，难以超越驾驶员水平。 强化学习方法尚处摸索阶段，有望进一步提高车机行为决策智能水平。强化学习方法让智能体作 为行为决策主体，以试错方式进行环境交互，并基于每一步行动后的环境反馈调整智能体行为。 通过试错式学习，智能体能够在动态环境中自己做出一系列行为决策，达到优异的自动驾驶能力。

认知决策 AI大模型已开始落地。23年 4月11日，毫末智行发布了自动驾驶大模型毫末 DriveGPT 雪湖·海若，相关车型新摩卡 DHT-PHEV 于 6 月 1 日正式上市，毫末 DriveGPT 参数规模 1200 亿，预训练阶段引入 4000 万公里量产车驾驶数据，优化阶段采用人类反馈强化学习（RLHF）技 术引入 5 万段人工精选的困难场景接管 Clips 数据。DriveGPT 定义 50 万个新的 tokens，包括障 碍物、车道线、行人等，作为一种全新的“自动驾驶语言”。其输入是感知融合后的文本序列， 输出是自动驾驶场景文本序列。模型目标为实现端到端驾驶，希望实现四大应用能力，包括智能 驾驶、驾驶场景识别、驾驶行为验证、困难场景脱困。

百度于 2022 年 11 月发布了预测决策多任务大模型和离线智能仿真系统研究进展；商汤于 2023 年 4 月发布的日日新大模型体系中所包括的感知决策一体化大模型；理想 CEO 在致员工的内部信 中提出2023年底落地端到端城市辅助驾驶，预计届时有可能实装包括认知决策能力的端到端、多 模态 AI 大模型。

3.人车交互领域：语言大模型落地在即

NLP 语言大模型主要将应用于智能座舱的语音交互系统。通用型 NLP 模型以车载语音助手或集 成化车机操作系统的形式搭载在智能座舱，主要功能包括对话式交互、逻辑推理、策略规划和知 识问答。