2024端到端自动驾驶行业研究报告

端到端自动驾驶行业研究报告 报告摘要 端到端逐渐成为自动驾驶行业的共识 2023年以来，在行业龙头特斯拉的标杆作用、大模型代表的AGI技术范式、以及自动驾驶拟人化和安全性需求的共同推动下，自动驾驶行业对于端到端的关注度一路升温。产业界、学术界和资本市场在端到端自动驾驶领域都有里程碑事件发生。 端到端自动驾驶已经成为明确的行业共识。本行研报告访谈了30余位自动驾 驶行业一线专家，其中90%表示自己所供职的公司已投入研发端到端技术。 作为新兴技术领域，端到端的基本概念存在误区，本报告提出一套可供参考的概念定义和术语体系 早期，端到端的核心定义是“从传感器输入到控制输出的单一神经网络模型”，近年来，端到端的概念有了更大范围的延展。本报告认为，端到端的核心定义标准应为：感知信息无损传递、可以实现自动驾驶系统的全局优化。 基于以上定义标准，并结合自动驾驶系统中AI的应用，本报告将自动驾驶技术架构分为四个阶段，分别是感知“端到端”、决策规划模型化、模块化端到端、以及OneModel端到端，其中，后两个阶段符合前述端到端的定义标准。 同时，端到端与大模型、世界模型、纯视觉传感器方案等相关概念常常被混淆，本报告也对其区别与联系做了辨析。 端到端的落地面临诸多挑战，包括技术路线、数据和算力需求、测试验证、组织资源投入等 技术路线：端到端技术路线还未形成最佳实践，技术路线存在分歧。 数据：在端到端技术架构下，训练数据的重要性得到前所未有的提升，其中，数据量、数据标注、数据质量和数据分布的相关问题都可能成为限制端到端应用的挑战。 训练算力：端到端训练算力需求急剧提升，行业头部玩家均储备千卡~万卡级训练算力。 测试验证：现有测试验证方法不适用于端到端自动驾驶，行业亟需新的测试验证方法论和工具链。 端到端自动驾驶行业研究报告 组织资源投入：端到端需要组织架构重塑，也需要将资源投入倾斜到数据侧，对现有模式提出挑战。 另一方面，虽然有观点认为车端算力不足和可解释性问题是端到端落地的限制因素，但本报告提出相反结论并进行辨析。 展望：端到端将于2025年开始上车，带动上游技术进步、市场和产业格局演变 自动驾驶行业头部玩家纷纷提出端到端量产规划，预计模块化端到端系统将于2025年开始上车。 技术上，端到端的落地会推动其依赖的上游工具链、芯片等加速进步。市场端，端到端带来的自动驾驶体验提升，将会带来高阶辅助驾驶渗透率的提升；由于其强泛化性，端到端也可能驱动自动驾驶跨地理区域、跨国家、跨场景的应用。产业格局方面，端到端使数据和AI人才的重要性进一步提升，可能催生新的产业分工和商业模式。 端到端自动驾驶与通用人形机器人相互启发，竞逐物理世界AGI落地之路 自动驾驶在发展的早期借鉴了很多机器人行业的积累，包括感知算法、规划算法、中间件和传感器等多个层面。近年来，自动驾驶技术和产业成熟度提高，其中端到端自动驾驶提供了一套已验证、可量产的基于数据驱动的AGI技术范式，对于通用人形机器人的有较强的借鉴作用。 目前，自动驾驶和通用人形机器人已经成为物理世界AGI发展最重要的两个应用领域，比较二者在落地之路上遇到问题和解决路径，可以给另一个领域更大的启发。 端到端自动驾驶行业研究报告 内容目录 前言 端到端开启新一轮自动驾驶产业革命01 端到端的“战略共识”和“战术分歧”02 01 端到端的基本概念 1.1传统自动驾驶架构04 1.2端到端自动驾驶的定义05 1.3端到端相关概念的联系与区别08 1.4早期端到端自动驾驶的关键成果11 1.5近期端到端自动驾驶的重要进展14 02 端到端主要玩家分析 2.1主机厂17 2.2自动驾驶算法和系统公司19 2.3自动驾驶生成式AI公司23 2.4学术研究机构24 03 端到端的发展驱动力 3.1对标驱动26 3.2用户体验驱动27 3.3组织价值驱动27 3.4技术驱动29 04 端到端落地之路的挑战 4.1技术路线分歧31 4.2对训练数据的需求量空前提升31 4.3对训练算力的需求越来越高32 端到端自动驾驶行业研究报告 4.4测试验证方法尚不成熟34 4.5组织资源投入的挑战34 4.6车载芯片算力会不会成为瓶颈？ 34 4.7模型缺乏“可解释性”是否构成障碍？35 05 展望端到端 5.1量产进度 36 5.2技术发展趋势36 5.3产业发展趋势40 06 端到端自动驾驶与通用机器人 6.1阶段一：机器人赋能自动驾驶早期的发展43 6.2阶段二：自动驾驶产业化加速，端到端技术可反哺机器人44 6.3阶段三：自动驾驶和机器人竞逐物理世界AGI44 本报告访谈和编写项目组特别声明 端到端自动驾驶行业研究报告 图示目录 图示1：2017-2023年中国无人驾驶汽车行业投资整体情况01图示2：行业研究问卷受访者结构及其对端到端大模型的态度02图示3：对于端到端落地时间、技术终局和行业格局的预测03图示4：传统自动驾驶架构的典型代表——Apollo3.0软件架构04图示5：自动驾驶架构演进示意图06图示6：典型的模块化端到端UniAD架构图07图示7：DAVE-2的网络结构11图示8：Wayve基于强化学习的端到端神经网络12图示9：传统自动驾驶解决方案与OpenPilot方案对比13图示10：UniAD架构图14图示11：LINGO-2架构15图示12：小鹏发布端到端大模型17图示13：华为发布ADS3.0的端到端架构18图示14：零一汽车发布端到端自动驾驶系统19图示15：元戎启行端到端演进路线19图示16：商汤绝影发布UniAD端到端解决方案20图示17：鉴智机器人GraphAD端到端网络21图示18：地平线SuperDrive技术架构向端到端演进22图示19：DriveDreamer模型架构24图示20：理想汽车在产品发布会上分享与MARSLab合作技术的落地应用情况25 图示21：特斯拉FSD平均接管里程和无接管行程次数占比的演变26 图示22：大语言模型将传统自然语言处理的多个任务统一为一个基础模型28 图示23：MLOps工具链全景图29 图示24：自然语言处理启发自动驾驶从传统范式到AGI新范式的演变30 图示25：英伟达H100GPU头部客户排名预测33 图示26：视觉感知算法领域开源项目与闭源项目的性能提升对比37 图示27：基于世界模型的仿真器和传统仿真器对比39 图示28：在端到端量产前和量产后的高速NOA和城市NOA的渗透率预测41 图示29：对通用人工智能实现时间的预测45 无论是学术界、产业界在端到端自动驾驶领域的快速进展，还是资本市场对 相关公司的关注，都指向一个趋势：端到端开启了新一轮的自动驾驶产业革命。 01 1000 900 800 700 600 500 400 300 200 100 0 140 120 100 80 60 40 20 0 20172018 2019 融资金额（亿元） 2020 2021 2022 2023 融资事件数（起） 端到端自动驾驶行业研究报告前言 前言 端到端开启新一轮自动驾驶产业革命 2023年以来，端到端自动驾驶在学术界、产业界的热度逐渐升高。 学术研究方面，2023年6月，上海人工智能实验室提出的UniAD（UnifiedAutonomousDriving）获CVPR2023最佳论文，大大提升了这一领域的关注度。紧随其后的是，一系列端到端自动驾驶的研究成果涌现，这一热度一直持续至今。 产业落地方面，特斯拉自FSD(FullSelfDriving)v12更新以来切换至端到端技术架构，国内以鸿蒙智行、小鹏汽车、元戎启行、商汤绝影、零一汽车为代表的头部汽车主机厂和智能驾驶技术公司纷纷投入研发端到端系统，并于最近半年陆续对外披露上车量产规划。 端到端的升温还体现在资本市场对相关公司的高度关注上。2024年5月，聚焦研发端到端自动驾驶以及自动驾驶大模型的英国初创公司Wayve.AI官宣获得了10.5亿美元融资，其股东包括微软、软银、英伟达等。自2021年上半年以来，全球自动驾驶投融资市场进入低迷期，已经鲜有资本在自动驾驶领域投入巨额资金（上一次有超过10亿美元的融资事件是Waymo于2021年上半年完成的25亿美元融资），但Wavye的融资可能意味着端到端技术将引领自动驾驶进入下一波产业发展和资本涌入的浪潮。 图示1：2017-2023年中国无人驾驶汽车行业投资整体情况(单位：亿元，起) 数据来源：IT桔子前瞻产业研究院 端到端自动驾驶行业研究报告前言 端到端的“战略共识”和“战术分歧” 为了深入理解端到端大模型在自动驾驶产业中的发展现状和未来趋势，我们开展了一项全面的调研，访谈了30余位自动驾驶行业一线专家、研究人员和公司决策者，覆盖了主机厂、算法公司、芯片公司、数据服务和工具链公司等与端到端自动驾驶密切相关的产业链环节。 图示2：行业研究问卷受访者结构及其对端到端大模型的态度 数据来源：本报告编写组，访谈专家 我们首先初步调研了受访者及其所供职公司对端到端自动驾驶的整体态度。与上节所述的现象类似，受访者普遍认可端到端这一技术方向，其所在公司，要么已经投入重要资源全面拥抱端到端，要么已经开启端到端自动驾驶的前瞻预研探索，持观望态度的公司极少。 然而，在对端到端发展的具体问题的预判上，受访者的分歧较大： a.落地时间预判：一半左右受访者认为端到端自动驾驶会在2~5年间落地，态度非常激进（2年内落地）和态度非常保守（5年以上落地）的观点也同时存在。 b.技术终局预判：一半受访者认为端到端是自动驾驶的最终解决方案；一半受访者认为端到端只是未来众多技术方案之一。 c.行业格局预判：一半受访者认为端到端会催生出新的巨头公司，而现有巨头的优势将不再明显；另一部分受访者则认为现有的巨头公司仍然能够保持竞争优势。这反映了行业对于“端到端是否是一种颠覆式创新”存在的分歧。 02 03 端到端自动驾驶行业研究报告前言 图示3：对于端到端落地时间、技术终局和行业格局的预测 数据来源：本报告编写组，访谈专家 这一问卷调研反映了目前自动驾驶行业的现状：一方面端到端受到广泛关注，大部分技术公司都难以承受错过这一次技术革命的后果；另一方面，由于行业对端到端的探索刚刚起步，对许多基础问题缺乏讨论，对其未来的发展方向还难以达成共识。 鉴于以上背景，本报告希望全面深入地探讨端到端自动驾驶的基本概念、参与者、发展驱动力、落地挑战和未来展望，并尝试为行业构建基础共识的认知和讨论基础，促进端到端自动驾驶行业更加蓬勃地发展。报告尝试在客观中立的前提下提取共识和有可供参考的观点和信息，并厘清行业面临的主要分歧，为相关企业和研究者提供参考。 端到端自动驾驶行业研究报告端到端的基本概念 第一章端到端的基本概念 1.1传统自动驾驶架构 图示4：传统自动驾驶架构的典型代表——Apollo3.0软件架构 图源：ApolloAuto 传统的自动驾驶架构更多衍生于机器人架构，所以在机器人领域的感知-定位-规划三大模块以及基于此进行的功能衍生在很长时间内成为了自动驾驶架构发展的基调。 典型的自动驾驶系统通常包含以下几个核心模块： •感知模块（Perception） 感知模块负责收集和解释车辆周围环境的信息。这包括使用各种传感器，如摄像头、激光雷达（LiDAR）、雷达和超声波传感器来检测和识别周围的物体，如其他车辆、行人、交通信号和道路标志。感知模块需要处理来自这些传感器的数据，并将其转化为车辆可以理解的环境模型。传统的感知模块的输出更多是基于人类的定义，如对于周边障碍物的检测，对于边界以及区域的分割等等。传统的感知系统要保证其输出能够为人所理解，代表了人类对于环境的一种抽象。 04 端到端自动驾驶行业研究报告 •定位模块（Localization） 端到端的基本概念 定位模块的任务是确定车辆在环境中的精确位置。这通常涉及到使用全球定位系统（