产业深度：大模型赋能座舱，智能座舱新战场

产业深度 产业研究中心 2024.01.31 作者：朱峰 电话：021-38676284 邮箱：zhufeng026011@gtjas.com资格证书编号：S0880522030002 作者：鲍雁辛 电话：0755-23976830 邮箱：baoyanxin@gtjas.com 资格证书编号：S0880513070005 大模型赋能座舱，智能座舱新战场 摘要：智能汽车产业前瞻研究（5）——大模型技术赋能智能座舱研究 大模型全面赋能智能座舱，给予座舱深度进化。AI大模型技术正引领一次新的产业 革命，当下汽车行业也正积极布局、拥抱大模型。一方面，大模型技术赋予座舱更准确、更流畅的语音识别功能，更丰富的知识储备与语义理解能力，并进行拟人交互，使语音交互更自然。众多车企已先从车载语音助手角度入手，推进大模型在座舱中的应用。另一方面，大模型技术的多模态特点可以综合处理语音、视觉、触觉 等多种类型的数据，是智能座舱能更全方位地感知乘客和驾驶员的需求，提供多模 往期回顾 氟化工产业链深度报告（二）：含氟精细化学品高附加值，远期成本优势决定产业格局 2024.01.29 氟化工产业链深度报告（一）：含氟聚合物向高端化转型，新兴需求国产替代正当时 2024.01.29 氟化工产业链深度报告（三）：算力时代拉动氟化工需求，电子特气国产进程有望加速 2024.01.27 智能汽车软硬件产品齐发力，CES展示汽车酷炫新亮点——智能汽车产业研究系列（三） 2024.01.16 硬件芯片是智能化方案的基座，软件算法是制约用户体验的核心——智能汽车产业研究系列（二） 2024.01.13 态且更专业化的服务。同时，智能座舱通过运用AI大模型，将能提供千人千面的语 音识别、娱乐信息及驾驶辅助个性化定制服务，并将智能座舱的功能向更精细、智 能和个性化的环境控制、健康管理、娱乐信息与车辆状况监测等诸多应用场景拓展，让智能座舱经历一次深刻的进化。 算力要求、算法研发与隐私保护是大模型接入智能座舱下一步需要解决的问题。由于大模型对训练算力和云端算力的要求更高，众多车企和大模型技术开发商需积极 建设智算中心，以提升云端算力。同时，多模态交互信息的复杂性以及大模型信息 的实时性、准确性要求需要高水平的算法保障。在车端，受制于当下车载算力硬件现状，大模型发挥作用难度大，研发更高性能和性价比的车载算力芯片紧迫性高。大模型带来隐私信息的大幅增长，从车辆数据本身拓展到车辆数据、交通道路数据与用户个人数据等多方面私人信息，隐私保护的重要性与难度由此上升，成为大模 型上车前急需解决的难点。研发数据加密与匿名化处理、多方计算技术、可信执行环境、同态加密等技术，以及完善相关法律法规是大模型在座舱应用中数据隐私安全侧需要解决的挑战。 大模型接入座舱势必为汽车智能化发展过程中的必经之路，已有诸多厂商拥抱大模型，全力推进大模型上车。中国智能座舱的渗透率高于全球水平，并处于逐年上升 的趋势，车企的竞争愈发激烈，中国乘用车消费市场已进入存量时代。而大模型技术可以满足消费者的更高层次的需求，丰富驾驶的多样应用场景，保障安全驾驶。因此，车企纷纷推动大模型上车，加快带来更高层次的智能座舱，将为车企在愈发激烈竞争中占据优势的破局之路。一方面，大模型接入智能座舱将有助于提供个性化的服务，赋予智能座舱记忆储存、精准识别、定制化体验等，让客户在智能座舱内感受到更贴心、细致的服务。另一方面，借助ADAS驾驶辅助与多模态功能，大模型保障安全驾驶。无论是理想、小鹏等智能汽车厂商，还是华为、商汤等大模型有关科技公司纷纷实现大模型落地。 风险提示：智能汽车市场整体发展不及预期、大模型技术进步与量产落地不及预期、 市场竞争加剧风险。 目录 1.大模型技术将给予智能座舱一次深度进化3 1.1.大模型提供识别更精准、理解力更强大的车载语音助手4 1.2.大模型给予智能座舱深度的多模态交互4 1.3.大模型推动更个性化的智能座舱体验6 1.4.大模型使智能座舱功能更加丰富6 2.汽车智能化趋势下，车企大力推动大模型上车8 2.1.智能座舱快速渗透，中国乘用车市场竞争激烈8 2.2.大模型上车有助于车企在智能化竞争中脱颖而出9 3.大模型全面接入智能座舱仍面临众多难点与挑战12 3.1.大模型需要挑战更高的算力要求12 3.2.算法研发也是大模型上车的难点13 3.2.1.多模态大模型对算法研发提出要求13 3.2.2.大模型数据的实时准确需要高水平算法保证14 3.3.隐私保护问题是重中之重15 4.车企正积极推动大模型在座舱内落地17 5.风险提示18 1.大模型技术将给予智能座舱一次深度进化 拥抱大模型技术是智能汽车行业全面且快速形成的共识。现象级大模型产品ChatGPT问世以来受到各行各业广泛关注，产业迅猛发展，正引领 一次新的产业革命。当下汽车行业也正积极布局、拥抱大模型：无论是百度、商汤等人工智能龙头公司旗下大模型与众多车企官宣合作，还是蔚来、理想、小鹏等智能汽车头部车企公开自研大模型计划，或是华为等科技巨头宣布将在其汽车问界M9上接入盘古大模型，大模型技术正加速向中国智能汽车行业渗透。 图1：吉利汽车加入百度文心一言大模型生态图2：华为问界M9接入盘古大模型3.0 数据来源：吉利汽车数据来源：华为 智能座舱将是大模型上车的良好切入点。当前智能座舱作为一个高度自动化和信息化的环境，存在大量可挖掘利用的数据信息和服务场景，是智能汽车技术革新和竞争的核心领域之一。而大模型背后强大计算处理 能力、生成和多模态交互能力可带给智能座舱更高的智能化水平、更丰富的交互能力，从而提升智能座舱的安全性、效率、用户体验和商业化潜力。大模型接入智能座舱将从语音识别、多模态交互、定制化服务以及更多智能应用和娱乐功能场景等多个方面赋能，让智能汽车提供更贴近消费者需求的体验服务，将汽车智能化向更高发展层次推进。 图3：大模型将从多个维度提升智能座舱体验 车载语音助手 •更准确、流畅 语音识别 •更强大的语义 理解能力 •拟人类交互， 情感丰富 个性化智能座舱体验 •语音识别个性化 •娱乐推荐个性化 •驾驶辅助个性化 大模型上车优势 多模态交互 •多类传感器融合 •应用场景多样 •视觉、听觉、触觉多模态交互 智能座舱功能丰富 •环境控制功能 •健康管理功能 •娱乐与信息服务 •车辆状况监测维修 资料来源：车云，捷途汽车，国泰君安证券研究 1.1.大模型提供识别更精准、理解力更强大的车载语音助手 众多车企依托语音识别技术，实现大模型上车。由于大模型产品如ChatGPT具有明显的对话功能与辅助属性，与智能座舱中的语音助手模块有高度的适配性。因此众多车企率先从语音助手模块突破，结合大模 型技术，实现智能座舱更准确、强大、丰富的语音助手能力。 首先，大模型能够提供更准确、更流畅的语音识别功能。通过深度学习和自然语言处理技术，大型模型能够更好地理解和解析用户的语音指令，提供更高质量的语音识别结果； 图4：理想汽车AI语音助手的多元功能图5：理想MindGPT实现语音助手与多个用车场 语音助手与多个用车场景结合 景结合 数据来源：理想汽车数据来源：理想汽车，国泰君安证券研究 其次，大模型具有更丰富的知识储备、更强大的语义理解能力。车载语音助手可以通过大模型学习用户的语言习惯、上下文信息以及 个性化需求，更好地理解用户的意图和需求，做出更智能、更准确的回应。理想汽车的MindGPT自带记忆网络，可以实现让车载AI助手“理想同学”能基于历史对话记住个性化偏好和习惯； 此外，通过模拟人类的语言表达方式和情感，大模型可以使车载语音助手更加自然、亲切。大模型能够更加自由流畅的对话，提供更好的用户体验。更关键的是，通过大模型赋能，车载语音助手可以 成为大模型上车的窗口，与用户频繁使用的不同用车场景结合，探索更多的可能性。 1.2.大模型给予智能座舱深度的多模态交互 多模态的大模型技术可以综合处理语音、视觉、触觉等多种类型的数据，进一步提升汽车领域智能座舱的应用。 在语音识别与自然语言处理方面，大模型可以提供更精准的语音识别功能，深度理解并解析驾驶者的语音指令，将驾驶者的语音指令转换为文字数据，实现智能的语音交互。 在视觉识别与图像处理领域，大模型可以通过深度学习和计算机视 觉技术，对座舱内的图像数据进行分析和处理，识别驾驶者的面部表情、手势动作等非语言交互信号，并将其转化为相应的指令和反馈。 在触觉感知与反馈方面，大模型可以通过分析座椅传感器数据、振动信号等触觉感知信息，进一步增强座椅的响应能力。例如，根据驾驶者的体态和行为，智能调节座椅的支撑力和按摩力度，提供更 舒适的驾驶体验。 图6：多模态的大模型打通不同信息形式的交互 数据来源：红杉资本 多模态的大模型技术把舱内外各种不同类型的传感器融合，将不同类型数据处理分析并综合，全方位地感知乘客和驾驶员的需求，提供专业化的服务。2023年12月理想汽车发布的OTA5.0通过覆盖全车多音区的 数字硅麦、3DToF摄像头、IR传感器，以及基于空间多模态感知3M技术，“理想同学”可以充分感知舱内空间的多模态信息。例如，当驾驶员说话的时候，理想汽车将同时进行语音和图像的识别，通过驾驶员头部向右偏转的角度，判断驾驶员的说话对象是车载语音助手还是副驾驶乘客，进而做出反馈。将来车内大模型将无处不在，大模型将推进智能座舱多模态的交互能力，形成极致的用户交互体验，提升驾驶体验感与安全性。 多类型传感 器信息收集 MindGPT多模态大模型对不同类型数据 进行分析和综合，做出相应反馈与决策 图7：理想全自研多模态大模型MindGPT提升智能座舱多模态交互能力，用户体验感强 资料来源：理想汽车，国泰君安证券研究 1.3.大模型推动更个性化的智能座舱体验 智能座舱通过运用AI大模型，提供千人千面的个性化定制服务。通过 AI大模型分析用户的行为习惯与个人偏好，智能座舱将为客户带来更精准、更具个性化的座舱界面和交互方式。 语音识别个性化：大模型可以根据用户的口音、语速、语言、文化背景和乘坐频率等特征进行个性化识别，优化显示语言、音频提示和界面布局，提供更加精准的服务，减少沟通障碍； 娱乐系统个性化：AI大模型可以分析乘客的娱乐偏好，推荐个性化内容，甚至根据历史行为预测乘客可能感兴趣的内容，包括音乐、 电影、游戏等多种娱乐形式。例如，车载娱乐系统可以根据用户的音乐偏好推荐新的曲目，优化用户交互体验； 驾驶辅助个性化：AI大模型通过分析驾驶者以往的驾驶习惯和偏好进行个性化调整，结合驾驶辅助系统，推荐符合驾驶者偏好的合适 导航路线，调整座椅姿势，智能调节座椅的支撑力和按摩力度，提高驾驶舒适度。根据乘客的喜好和需求，AI大模型也可以实时调整座舱的环境，包括温度、湿度、照明等，以提供更加舒适的体验。 图8：商汤绝影智能座舱基于AI大模型提供丰富的个性化体验 数据来源：商汤绝影发布会 1.4.大模型使智能座舱功能更加丰富 搭载AI大模型技术，智能座舱将丰富、升级驾驶功能。中国汽车行业正努力智能化转型，而随着技术的不断升级创新，搭载AI大模型技术 后，智能座舱不仅仅局限于单模态、常见的车载语音、导航等功能，而是紧贴消费者需求，丰富环境控制、健康管理、娱乐与信息服务、汽车状态监测维修等智能座舱新功能。 智能座舱环境控制功能：AI大模型将综合温度和湿度传感器、空气质量监测器等数据，感知座舱内实际的温度、湿度和空气状况。基 于用户偏好或座舱的设定，智能座舱系统可以通过调节空调系统来调节座舱温度和湿度，调整通风系统和空气过滤器，以确保座舱内 的空气质量达到舒适和健康的标准； 智能座舱健康管理功能：通过结合乘客的个人健康数据和座舱环境信息，AI大模型可以提供个性化的健康管理方案。健康类传感器或提供心率、血压等生物识别数值，AI大模型进行实时监测与数据分 析，进一步进行安全预警或驾驶分析，保障驾驶安全；图9：智柔科技智能方向盘为驾驶