端到端自动驾驶系统研究综述

本文首先介绍了自动驾驶的三大技术范式：模块化系统架构、多任务学习架构和端到端系统架构。模块化系统架构将感知、预测、规划和控制等任务分别解耦成独立的子模块，具有可调试性、可验证性及可重用性，但存在信息丢失、复合误差等不足。多任务学习架构通过设计各种解码头与共享主干网络，以降低计算消耗，但不同任务的优化目标不一致，可能存在表征冲突。端到端架构通过释放中间的显式接口简化网络，使整个系统包括中间表征都可朝着最终目标优化，但早期方法缺乏对驾驶场景的显式表征，可解释性较弱。

其次，本文详细调研了当前新兴的端到端自动驾驶框架，从输入—输出模态到系统架构角度进行了广泛地调研。端到端系统的输入模态主要包括视觉相机、车辆状态和异构多模态数据，输出模态主要包括转向和速度、航路点、导航输入等。现有端到端架构可分为弱解释性端到端和模块化联合端到端两大主流范式。弱解释性端到端以模仿学习和强化学习方法为主，但缺乏对驾驶场景的显式表征，可解释性较弱。模块化联合端到端在保留模块化组件的同时实现全流程的端到端训练，有效结合了传统模块化和端到端方法的优势，具有一定的可解释性。

接着，本文简单介绍了端到端自动驾驶系统的开环—闭环评估方法及适用场景。闭环评估是指在受控环境中赋予系统对汽车的控制权的前提下，从车辆的完成性、安全性及舒适性等方面综合评价模型在现实（真实/模拟）场景中的驾驶性能。开环评估主要是对现实世界的人类驾驶数据集的离线评估，用于衡量智能体的驾驶行为（动作/轨迹）与专家真实数据的匹配（偏差）程度，以及与其他智能体的碰撞程度。

最后，本文总结了端到端自动驾驶系统的研究工作，并从数据挖掘和架构设计角度展望了领域潜在挑战和亟待解决的关键问题。数据挖掘方面，端到端自动驾驶方法需要海量的大规模数据，以及高级的数据清洗和自标注技术。架构设计方面，显式的端到端方法需要改进优化以提高模型的可解释性，同时需要解决多模态融合、视觉抽象表征和模型结构与隐式接口设计等问题。此外，引入自然语言提示或直接建立视觉与语言关系的大模型也值得进一步关注。