2024特斯拉的自动驾驶系统FSD发展历程、技术原理及未来展望分析报告

2024年深度行业分析研究报告 目录 1引言3 2概览：软硬件全链路闭环全栈自研构筑强大技术基石5 2.1发展历程：软硬件持续迭代由外部合作到全栈自研5 2.2系统架构：软硬件全链路闭环实现高度集成6 3算法端：创新算法优化实现高效神经网络推理8 3.1感知：先进感知技术，确保精准环境理解和物体识别8 3.2规划：采用交互搜索框架快速选择最优方案18 4算力端：Dojo超级算力支撑保持能效比优势21 4.1Dojo系统：特斯拉自研超算平台研发进展迅猛21 4.2D1芯片：基于存算一体架构实现高效数据传输24 4.3瓦片集群：由基本单元出发构成大规模算力集群26 4.4软件系统：采用高效同步机制性能较GPU大幅提升27 5芯片端：自研FSD芯片集成高效计算能力30 5.1硬件架构：由合作迈向自研运算性能强大30 5.2编译推理：高效优化最大化计算资源利用34 6数据端：自动化数据闭环优化数据驱动训练36 6.1自动标注：自动化4D标签生成提升标注效率36 6.2仿真模拟：构建虚拟场景优化算法表现39 6.3数据引擎：集成多源数据加速模型训练42 7端到端架构：FSDV12引领实现感知决策一体化46 7.1特斯拉的AI关键时刻：FSDV12首次实现端到端V13即将推出46 7.2大模型成就端到端自动驾驶推动感知决策一体化48 7.3端到端架构演进：感知端到端到OneModel端到端49 插图目录3 表格目录4 插图目录 图1：2013年9月，马斯克在Twitter中首次提到AP5 图2：特斯拉自动驾驶系统发展历程6 图3：FSD累计行驶里程6 图4：FSD订阅价格降至99美元/月6 图5：特斯拉FSD系统架构7 图6：特斯拉视觉感知系统算法采用HydraNets架构9 图7：图像空间预测投射到向量空间后出现较大偏差9 图8：单相机检测无法解决物体横跨多相机的问题9 图9：BEV视角融合了多个摄像头的视频数据10 图10：Transformer是实现二维到三维变换的核心10 图11：通过图像校准解决摄像头采集数据偏差问题11 图12：加入虚拟标准摄像头以校准图像数据偏差11 图13：感知网络仍是对瞬时图像片段进行感知11 图14：特斯拉引入时空序列特征层11 图15：特征序列模块可以缓存时序与空间特征12 图16：隐状态可组织成二维网格13 图17：空间RNN的隐状态可包含多个通道13 图18：OccupancyNetwork对正在启动的两节公交车运动状态进行精准捕捉14 图19：OccupancyNetwork能够生成可行使表面14 图20：基于Attention机制的OccupancyNetwork占用网络15 图21：LanesNetwork旨在生成车道与连接信息16 图22：特斯拉采用低精度地图对视觉表示进行增强16 图23：LanesNetwork工作原理17 图24：稀疏化处理可使神经网络专注于计算最重要的区域17 图25：效率、安全和舒适是自动驾驶规划的三大目标18 图26：非凸性和高维性是自动驾驶规划的两大难点18 图27：特斯拉将规划问题进行分层分解19 图28：自动驾驶系统需要实现多代理联合轨迹规划19 图29：自动驾驶行驶方案评估至少需要10毫秒19 图30：特斯拉采用交互搜索框架，实现实时方案评估20 图31：特斯拉Dojo发展历程21 图32：特斯拉Dojo算力规划22 图33：Dojo超级计算机三大目标23 图34：Dojo系统二维网格结构23 图35：Dojo训练节点架构24 图36：D1芯片结构24 图37：D1芯片计算阵列25 图38：D1芯片串行器/解串器分布25 图39：特斯拉Dojo指令集25 图40：计算平面两端各放置了一个接口处理器26 图41：Dojo接口处理器连接在系统托盘下方26 图42：训练瓦片上集成了25个D1芯片27 图43：系统托盘上训练瓦片呈2x3矩阵式排布27 图44：Dojo训练机柜中集成了两个系统托盘27 图45：系统托盘上训练瓦片呈2x3矩阵式排布27 图46：系统性能由硬件、利用率和加速器占用率决定28 图47：多加速器运行批量归一化会导致前向传播延迟28 图48：Dojo系统使用高效同步机制，实现内部单元协作28 图49：自动标注与占用网络占特斯拉GPU使用量一半29 图50：Dojo处理自动标注与占用网络速度大幅提升29 图51：特斯拉FSD双芯片系统设计31 图52：特斯拉FSD芯片发展历程32 图53：特斯拉FSD芯片架构33 图54：汽车中在同时运行很多架构、模块和网络34 图55：神经网络编译器与链接器架构34 图56：特斯拉混合调度系统架构35 图57：特斯拉数据标注发展历程37 图58：基于2D图像进行标注37 图59：在BEV空间下进行4D自动标注37 图60：特斯拉4D自动标注流程38 图61：4D自动标注的三个关键步骤39 图62：特斯拉仿真模拟流程包含五大关键步骤40 图63：通过自动化标签生成道路网格和车道41 图64：以随机化启发式规则生成外部世界41 图65：特斯拉仿真世界创建流程42 图66：特斯拉数据引擎示意图43 图67：特斯拉FSD用户的累计行驶里程已超过13亿英里44 图68：自成闭环的数据引擎能够更好地优化神经网络45 图69：马斯克强调：FSDv12运行速度快了10倍，可以替代30万行代码47 图70：特斯拉FSD发展路线图48 图71：多模块化方案VS端到端方案49 图72：自动驾驶架构演进示意图50 表格目录 表1：Dojo算力分为内核级、芯片级、格点级、集群级等四个层级23 表2：特斯拉自动驾驶硬件平台不同版本对比31 表3：FSD芯片1.0和2.0性能对比33 1引言 本报告为特斯拉FSD专题报告，从算法端、算力端、芯片端、数据端四个层面出发，对FSD系统底层技术原理进行全面深度拆解，并结合端到端架构演进趋势，对FSD系统的最新发展变化进行梳理，对板块后续核心催化进行展望。 FSD是一套包含感知、规控、执行在内的全链路自动驾驶软硬件架构，在算法、算力、数据、芯片等层面实现了高度集成： 1）算法端：感知规划算法全栈自研，实现从纯视觉信息输入到规划方案输出。 1）感知。特斯拉采用BEV+Transformer架构，将2D图像转化为对周围环境的准确3D感知。而后，特斯拉将该架构升级为OccupancyNetwork，能够直接在向量空间产生体积占用，精准识别物体运动状态差异；2）规划。特斯拉采用交互搜索框架，以任务分解的方式对一系列可能的行驶轨迹进行研究，实现对规划方案的实时评估。通过算法端全栈自研，特斯拉以低成本感知硬件进行高阶智驾能力输出，快速实现自动驾驶算法优化迭代。 2）算力端：从0到1构建超级计算机系统，为远期算力提供强大支撑。特斯拉从算力芯片开始，完整构建Dojo超级计算机系统，以处理自动驾驶所需海量数据。2021年8月，Dojo在特斯拉首届AIDay上正式亮相，定位为超高速训练计算机，采用分布式计算架构设计，算力分为内核级、芯片级、格点级、集群级等四个层级，实现从训练节点到训练集群的完整构建。特斯拉从0到1构建超级计算机系统，旨在摆脱对英伟达GPU的依赖，为远期算力瓶颈进行前瞻布局。 3）芯片端：由合作迈向自研，实现高性能算力集成。特斯拉自动驾驶硬件平台初期与Mobileye、英伟达等合作，2019年正式发布基于自研FSD芯片的HW 3.0系统，开始转向硬件平台全面自研，下一代全自动驾驶（FSD）硬件——AI5，预计将于2025年下半年投产。FSD硬件计算平台采用两颗SoC芯片，以双系统设计提升自动驾驶功能安全冗余。特斯拉构建了神经网络编译器与链接器，以最大化计算资源利用率、吞吐量，并最小化延迟。通过芯片自研，特斯拉能够实现硬件方案的持续快速迭代，与软件算法进行更好的整合，从而实现更优的系统性能。 4）数据端：高效自动标注+构建仿真场景，实现数据驱动训练。2020年，特斯拉开始研发并使用数据自动标注系统，能够在12小时内自动标注一万个驾驶旅 程，可抵充500万个小时的人工标注工作，极大提高了标注效率。仿真模拟则可以提供现实世界中难以获得或是难以标记的数据，从而加速FSD能力的训练，赋能模型迭代。结合真实数据和标签，以及仿真和手动校准的数据，特斯拉形成综合训练数据集，用于训练车端的在线模型，涉及网络占用、车道线和障碍物检测以及规划算法，形成闭环的数据流，实现自动驾驶系统的持续优化。 FSD技术端快速进化，V12为首个端到端自动驾驶系统，能够模拟人类驾驶行为，实现感知决策一体化。特斯拉FSDv12于2023年底推出，采用端到端大 模型，消除了自动驾驶系统的感知和定位、决策和规划、控制和执行之间的断面，将三大模块合在一起，形成了一个大的神经网络，直接从原始传感器数据到车辆操控指令，简化了信息传递过程，因而减少了延迟和误差，提高了系统的敏捷性和准确性。特斯拉FSD快速进化，V13即将10月推出，有望于2025年Q1进入中国和欧洲，智能驾驶拐点已至。 “We,Robot”发布会即将开幕，有望成为智驾板块强劲催化。特斯拉将于北京时间10月11日在美国洛杉矶发布新品，活动主题口号为“We,Robot”。特斯拉Robotaxi即将正式推出，有望成为特斯拉发展历程重要里程碑，并与FSDV13发布形成共振，共同成为板块强劲催化。 本篇报告与市场不同之处： 1）从算法端、算力端、芯片端、数据端四个层面出发，对FSD系统底层技术原理进行全面深度拆解； 2）结合FSDV12系统发展路径，对感知端到端到OneModel端到端的技术架构演进趋势展开研究，探析自动驾驶领域全新发展路径； 3）对特斯拉FSD的未来发展路径进行分析，判断特斯拉自动驾驶的重要技术发展节点，并对未来智驾板块的潜在事件催化进行展望。 2概览：软硬件全链路闭环全栈自研构筑强大技术基石 2.1发展历程：软硬件持续迭代由外部合作到全栈自研 特斯拉自动驾驶系统发展始于2013年，初期采用外部合作方式。2013年9月，马斯克在推特上首次提到AP（Autopilot系统），表示特斯拉正在进行自动驾驶领域的探索。2014年10月，特斯拉与视觉处理芯片独角兽公司Mobileye进行合作，正式推出第一代Autopilot硬件（HW1.0），率先搭载于ModelS。在未来一年多的时间里，特斯拉通过OTA不断更新固件，使车辆获得更完善的驾驶辅助或自动驾驶功能。2016年10月，特斯拉推出第二代Autopilot硬件 （HW2.0），采用了英伟达的DRIVEPX2平台，硬件平台进一步升级。 图1：2013年9月，马斯克在Twitter中首次提到AP 资料来源：界面新闻，民生证券研究院 2019年4月，特斯拉推出HW3.0，正式开启全栈自研。HW3.0放弃了英伟达的DRIVEPX2平台，转而采用特斯拉全栈自研的FSD芯片。2020年10月，特斯拉小范围推送FSDBeta，对Autopilot基础架构进行了重大重写。2021年7月，特斯拉开始推送FSDBetaV9，该版本采用纯视觉自动驾驶方案，摒弃了传统的毫米波雷达和超声波雷达，是特斯拉在自动驾驶技术的重要发展节点。2024年1月，特斯拉FSDV12正式向用户推送，将城市街道驾驶堆栈升级为端到端神经网络，该神经网络由数百万个视频片段训练而成，取代了超过30万行的C++代码。2024年2月，特斯拉ModelY迎来HW4.0自动辅助驾驶硬件升级，与HW3.0相比，HW4.0算力提升5倍，在硬件设计上实现并行处理能力增强、内存管理优化和专用加速器集成等多项创新。从最初的辅助驾驶系统，到全栈自研自动驾驶技术，特斯拉持续引领智能驾驶技术发展浪潮。 图2：特斯拉自动驾驶系统发展历程 资料来源：特斯拉官网，Teslarati，搜狐网等，民生证券研究院 FSD累计行驶里程快速增长，商业化拐点已至。2024年4月12日，为降低FSD体验门槛，吸引更多人订阅，特斯拉FSD推出单月付费优惠，价