车载智能计算芯片白皮书（2023版）

编写单位（排名不分先后）安谋科技（中国）有限公司 北京地平线机器人技术研发有限公司湖北芯擎科技有限公司 南京芯驰半导体科技有限公司智协慧同（北京）科技有限公司 撰写名单（排名不分先后） 赵永超、李星宇、曾霖、陈江杉、吴彤、马飞、柯庆华、史博、叶斌、耿建华、舒杰、陶宇、程浩、鲍鹏、牛国浩、胡勇、黄伟伟、徐鹤等 版权声明：本白皮书版权属于安谋科技（中国）有限公司、北京地平线机器人技术研发有限公司、湖北芯擎科技有限公司、南京芯驰半导体科技有限公司和智协慧同（北京）科技有限公司，并受法律保护。 目录 一、背景4 二、车载智能计算趋势与挑战5 1.传感器及控制单元复杂繁多5 2.环境感知融合带来实时数据处理挑战6 3.算法模型尚不能很好应对长尾场景7 4.AI算法演进周期快于智能芯片设计周期8 5.大算力低功耗的车载智能计算芯片方案缺乏8 6.功能安全是底线9 三、软件定义汽车10 1.软件定义汽车的驱动力11 2.系统架构革新12 3.云原生技术极大提升研发效率15 4.边缘算力预埋与车云协同计算提升汽车长期价值17 四、异构计算芯片19 1.车载智能计算SoC架构21 2.能耗与性能22 3.功能安全24 4.信息安全27 五、车载智能计算软硬协同优化29 1.自动驾驶算法向端到端大模型演进29 2.软硬协同优化的难点30 3.NPU软硬协同设计创新35 4.异构感知计算流水线优化36 5.辅助驾驶、自动驾驶案例37 6.智能座舱案例43 六、总结与展望47 一、背景 智能化、面向服务的基础架构、软件定义汽车等已经成为各大汽车厂商竞相追逐的热点和差异化的焦点。高算力域控制器、智能座舱、辅助驾驶、自动驾驶等人工智能算法应用越来越受到各大汽车制造商、汽车零部件供应商、算法和系统集成商的重视和关注，并迅速成为投资和竞争的重点。软件和算法在智能驾驶汽车中越来越重要而且成为了差异化竞争的关键。软件价值的提升意味着未来汽车更多的创新将集中在电子和软件部分。领先的底层架构、出色的软件迭代、持续优化和不断进化的硬件技术，将加速整个汽车行业的转型与变革。随着芯片技术、硬件技术、软件技术、人工智能、深度学习算法等迅猛发展，智能计算已是大势所趋，车载智能计算软硬件平台和服务的竞争在汽车行业中将会越来越激烈。 据IHS调研的数据显示，中国购车消费者对于智能座舱科技的关注度要高于美国、日本、英国等多个国家，对于座舱智能科技水平的关注仅次于安全配置，甚至超过动力、价格、能耗等指标。据HIS调研预测，到2030年，汽车智能座舱的全球市场规模将达到681亿美元，而中国市场规模将超过1600亿元；全球占比将超过37%，成为全球主要的智能座舱消费市场。另据Tractica预测，2025年汽车人工智能硬件、软件和服务市场将达到265亿美元。麦肯锡的一份调研也显示，2030年全自动驾驶汽车可能占全球乘用车销量的15%，2040年时，将上升到80%。自动驾驶目前是一个相对新生的市场，相信随着人工智能技术、法律监管的完善以及消费者接受度的提升，自动驾驶市场会进一步扩大。 当然，人工智能技术是实现汽车智能化的最核心要素之一，它包括机器学习、深度学习、自然语言处理、计算机视觉等软件工程、算法的演化。其中算法模型的演化需求，以及纷繁复杂的应用场景，极大驱动了车载智能计算芯片创新。 今年以来，ChatGPT的惊人效果标志着人工智能领域的又一次重大里程碑，同时还掀起了一场深刻的软件开发变革，这就是大数据和大模型驱动的软件开发2.0新范式，将在未来的数年内深刻影响车载智能计算的发展路径。 与PC、手机的发展历史所展现的规律一样，智能计算芯片演进速度在极大程度上决定了整车智能化的演进速度，是产业发展的风向标，今天，在智能汽车百年巨变的时代背景下，车载智能计算芯片迎来了高速发展的机遇期。 智能汽车未来将有机会在实现“零事故”、“零排放”和“零拥堵”的宏伟愿景中发挥重要作用。本报告将从车载智能计算趋势与挑战、软件定义汽车趋势、车载异构计算芯片，以及软硬协同设计角度，阐述车载智能计算软硬件平台的发展机遇与创新实践。 二、车载智能计算趋势与挑战 辅助驾驶、自动驾驶以及智能座舱是跨越人工智能、高性能芯片、通信技术、传感器技术、车辆控制技术、操作系统等基础软硬件以及功能安全要求等多领域的系统工程，落地技术难度大，主要体现在如下几点： 1.传感器及控制单元复杂繁多 车辆中的传感器与各种电子电气系统的信息传输与控制都由汽车电子控制器(ECU)完成，ECU在制动系统、变速系统、悬架系统、安全系统、驱动系统，以及自动驾驶、辅助驾驶、智能座舱等都有广泛应用，据统计2019年中国汽车单车ECU数量大约为20–30个，目前的智能化较高的车型，主要ECU数量可能超过100个。 图一：自动驾驶传感器及软件 如图一所示，自动驾驶主要分为感知层、决策层和执行层。感知层主要通过激光、摄像头、GPS、陀螺仪等传感器获取车辆所处环境和车辆状态信息，比如：行人检测、车辆检测、车道线检测、红绿灯识别、交通标识牌识别、障碍物识别和车辆定位等；决策层根据路线规划、所处的环境以及车辆自身状态等规划下一步具体行驶任务（车道保持、换道、跟车、超车、避撞等）、行为（加速、减速、转向等）和路径（行驶轨迹）；执行层则基于车辆动力控制系统对车辆进行转向、制动、驱动等控制，使车辆按照既定行驶策略行驶。 智能化汽车带来了更加纷繁复杂的电子零部件ECU通过软件与通信协议协调工作，给车身电子电气架构、开发成本、车身重量等带来极大挑战。 2.环境感知融合带来实时数据处理挑战 智能汽车需要处理传感器（摄像头、激光雷达、雷达和超声波）捕获的海量数据，它必须提供实时反馈，例如交通状况、事件、天气状况、路标、交通信号等。需要每秒数万亿次计算操作（TOPS） 来同时处理多个具有挑战性的任务（例如，对象提取、检测、分割、跟踪等）。根据LucidMotors的研究人员测算，智能汽车每小时各种传感器累计产生的数据量大约为1.4TB-19TB。 来源：StephanHeinrich,LucidMotors,FlashMemorySummit2017 图二：车载传感器数量及带宽 L2级别及以下的驾驶辅助系统所需处理的数据量小且算法模型简单，因此小算力芯片与算法的强耦合即可满足系统需求。随着激光雷达等高性能传感器的量产上车以及智能驾驶系统算法的泛化性提升，面向量产乘用车的全场景自动驾驶点到点通行链路正逐步打通。对于L3级别及以上的智能驾驶系统而言，传感器数量的增加及多路高分辨率摄像头带来海量实时环境感知数据，外加算法模型的复杂程度不断增加，计算平台的处理能力面临巨大挑战。 3.算法模型尚不能很好应对长尾场景 超过95%的车祸是由于各种人为错误造成的，但是对于完全自动驾驶技术量产而言，在伦理、法律要求下，AI技术不成熟导致车祸是不能容忍的。使用更先进的AI模型算法，采用更为完备的训练标注数据，虽然可以提高自动驾驶的安全性和准确性，然而，极端情况仍然是需要人类驾驶者来干预，至少目前为止还没有算法可以解决所有的极端场景。 即便随着自动驾驶汽车不断的里程突破，很多时候在人类看来是非常低级错误的自动驾驶事故案例也时有发生。从自动驾驶算法角度来看，每一个低级失误导致的事故案例，都反映了AI算法或者模型的不完备性，我们是无法接受自动驾驶算法犯低级错误，哪怕错误概率低至0.01%。 模型的泛化性不佳是其中的重要原因之一，突破点在于通用人工智能（AGI，ArtificialGeneralIntelligence）理论和算法的进展，以及与之适配的计算平台架构。 4.AI算法演进周期快于智能芯片设计周期 当前，AI算法演进周期跟智能芯片设计周期之间的矛盾非常突出。AI算法演进速度非常快，在过去10年时间里，差不多每年都有会新的深度学习算法模型出现。据统计，大概每14个月，新的模型就能将计算效率提升一倍，但典型的车载芯片开发周期需要三年。算法优化会对计算平台架构带来巨大的挑战，计算平台架构必须根据算法的特点进行特定优化，才能保持足够的计算效率和性能。 这种进化速度上的不匹配，对芯片公司的算法能力提出更高要求，需要对算法的发展趋势进行预判，前瞻性地将其计算特点融入到芯片架构设计当中，使得芯片经过三年的研发，在推出市场的时候，仍然能够很好地适应最新的主流算法，同时保证能满足关键应用需求。通过软硬结合，能保持很高的硬件利用率，达到真正意义上向后兼容软件算法创新，这是非常难的。 5.大算力低功耗的车载智能计算芯片方案缺乏 不断迭代的算法和模型，都对AI基础硬件计算平台提出更为苛刻的计算要求。当下，多数自动驾驶技术都在基于GPU（图形处理芯片）进行AI（深度神经网络）计算。但GPU不像定制芯片（ASIC）那样高能效比或具有成本效益。最大的问题之一是功耗，要使L3以上的工作完美无缺，我们需要1000瓦以上的功耗来处理来自多个摄像头、雷达、激光雷达等的实时海量数据。巨大的能耗需求，对电动汽车的电量存储发起巨大挑战。 自动驾驶等级 传感器数量 算力需求(TOPS) L2 15+ 2+ L3 20+ 20+ L4 25+ 300+ L5 30+ 4000+ 来源：智能汽车算力平台方案解析 表一：自动驾驶等级与算力需求 6.功能安全是底线 功能安全指电子电器及其相关软件本身，通过其内置的安全机制，将伤害人类或损坏物品的潜在风险降低到可容忍的范围。在航空、工业、公共交通等领域中功能安全标准已经存在很多年，但是道路上行驶的汽车在功能安全上面临更多的挑战： 成本 汽车作为非常重要的交通工具，早已走入千家万户，汽车作为日常消费品，市场竞争非常充分，用户对于价格非常敏感。航空、工业以及公共交通等领域可靠性要求更高，涉及功能安全可以通过更多的冗余设计达到，而各大汽车制造商在成本控制上则要苛刻得多，在成本可控的前提下，达到功能安全标准则面临更多的权衡和挑战。 使用场景 汽车使用场景和范围非常宽泛，作为全天候高频使用，且不同驾驶人员使用习惯不同，外加一般车辆的使用周期8-10年，在此期间关键零部件需要能始终保持正常运转，可靠性测试验证的周期长、复杂度高。 市场新需求 伴随着软件技术、硬件技术以及人工智能等数字化技术日益完善成熟在多个领域，特别是在移动互联网领域取得了的巨大成功，当代人们对于汽车的需求已经不满足于传统交通工具属性，转而对舒适性、安全性、可靠性、娱乐性等提出了更多要求，新技术突破与市场新需求共同推动着汽车技术革新，但功能安全仍然是汽车产业的最核心、最重要的关切点。数字化、新能源等技术在汽车功能安全维度，还缺乏相应的测试及验证方案，这也让新技术导入到汽车工业面临更多的挑战。 预期功能安全 汽车产业功能安全标准ISO26262推荐对随机硬件失效采用定量分析，而最新的自动驾驶AI算法虽然已经提出了许多数据驱动设计的方法，不过深度神经网络的可解释性、稳定性以及鲁棒性方面仍然存在很多未解决的技术问题，因此ISO26262并不适合机器学习特别是深度神经网络的应用，预期功能安全SOTIF（SafetyoftheIntendedFunctionality）ISO21448也是在这一背景下诞生，SOTIF关注系统运行时发生的超出预期设计的场景或者超出部件性能限制的情形，以及人为因素对于系统的影响，适用于辅助驾驶、自动驾驶、人机交互等。但是对于未知的不安全场景，我们没有办法穷举或者消除，只有通过不断验证和迭代系统开发，直到系统满足选定的指标。ISO21448也提供了一套完整的流程方法（verification&validation）来减小这部分的风险。 三、软件定义汽车 软件定义汽车（SoftwareDefinedVehicle，简写：SDV）随着2012年特斯拉电动汽车的推出而广为人知，它主要基于特定的汽车硬件平台上，通过软件来实现相关功能和特性，其周期贯穿汽车生产、制造、销售以及后续服务等阶段，软件定义汽车可以提供越来越复杂的