SmartEV和AI蔚来的思考与实践

SmartEV和AI 蔚来的思考与实践 演讲人：李斌 截至2024年7月底，蔚来在售车型累计交付557,518台 2024年1至7月，蔚来在30万以上高端纯电市场占有率超过69% 全球研发布局 GlobalR&DFootprint Oxford牛津 2015.4 慕尼黑Munich 2015.6 柏林Berlin2022.4 布达佩斯Budapest 2022.9 北京Beijing 2016.12 Wuhan武汉 2017.5 Hefei合肥 2016.7 南京Nanjing 2016.4 上海Shanghai2015.3 杭州Hangzhou2022.11 SanJose圣何塞 2015.7 Singapore新加坡 2022.7 深圳Shenzhen 2021.11 全球研发布局 GlobalR&DFootprint 1,000 ,000 慕尼黑Munich 2015.6 柏林Berlin2022.4 Oxford牛津北京Beijing 2015.4布达佩斯Budapest2016.12 2022.9 南京Nanjing Wuhan武汉2016.4 2017.5SanJose圣何塞 Hefei合肥上海Shanghai2015.7 2016.72015.3 杭州Hangzhou2022.11 Singapore新加坡深圳Shenzhen 2022.72021.11 研发人员 R&DPersonnel 全球专利 GlobalPatentsfiled&obtained 蔚来在核心研发上持续坚定投入 UnwaveringInvestmentinR&D 39.80 39.72 29.44 30.75 33.44 30.39 28.64 17.61 21.49 亿元(人民币)100millionRMB 2022Q12022Q22022Q32022Q42023Q12023Q2 AI将成为智能电动汽车企业的核心基础能力 AItoBecomeCoreCompetencyofSmartEVCompanies 训练 算力 推理 Agent智能体 数据 AGI 具身智能 算法 LLM 强化学习 GPT 情感智能 Diffusion 信息安全 世界模型 生成式UI Transformer 多模感知 端云一体 智能驾驶 数字座舱 车是AI最佳的落地场景 蔚来技术全栈 NIOFullStack 智能驾驶 智能座舱 智慧能源 全景互联 整车全域操作系统 车辆工程 人工智能 全球数字运营 芯片和车载智能硬件 电池系统 电驱及高压系统 智能制造 智制造 提升制造效率的上限 冲焊AI智能抽检0.1毫米极致精度 AI-InspectedBIWin0.1mmPrecision 整车智能影音检测系统 AI-AidedAudio-VisualInspection 智能硬件和片 智能硬件对算力提出更高需求 面向AI的智能汽车需要有调度异构大算力的能力 HeterogeneousComputing 整车全域硬件异构框架 HeterogeneousHardwareFramework 端侧智驾算法 智驾算力行业第一 多智能体应用 Orin×41,016TOPS 端侧大模型 智舱算力业界最强 终端软总线应用 高通SA8295P 影音娱乐 可拓展算力行业首创 NIO-Box …… 高动态范围高性能ISP 位宽 像素处理能力 处理延时调教 Big.Little 核 CPU架构 功能安全设计 DMIPS ASILD 支持最高功能安全等级 双芯片毫秒级热备 晶体管 亿 车规工艺 高效NPU加速单元 众核异构资源池 Transformer类算法性能 LiDAR类算法性能 BEV类算法性能 8533Mbps LPDDR5x速率 算力共享车云结合 车辆工程 让驾乘体验更舒适 全球首个AI智能底盘 FirstAISmartChassis 智能应用层 智能底盘更安心更舒适更智能懂我 悬架控制大模型自动寻优 数据闭环和进化 舒适性场景数据建模 4D全域舒适领航智能辅助通过ISS智能舒适刹停EP赛道模式智能雪地�地模式运动+驾驶模式后排尊享模式 云端图层 全国道路 93%覆盖 云端数据层 颠簸事件分类算法 图层数据融合算法 全自动运营体系 多传感器融合 群体智能决策 跨域智算层 硬件执行层 路况预测算法 融合定位算法 巡航路径预测算法 传感器 AOUILA超感系统 动力学加速度传感器 高精度定位单元 悬架控制算法 4DIndex控制 ICC 底盘域控制器 控制器 ADAM 中央计算平台 减振器阻尼控制 空簧刚度控制 BCU 制动控制器 VCU 整车控制器 空簧高度控制 整车动态控制算法 电液扭矩分配控制扭矩矢量分配控制 自研高性能 双电机 可变阻尼控制 减振器 自研高性能 固定式活塞卡钳 多腔空气悬架 前后轴侧偏刚度分配控制整车横摆力矩分配策略 执行器 4D舒适领航 行业首创预知路况前馈调节 Industry'sFirst4DSmartSuspensionForeseesandResponsesinAdvance 操作系统 整车全域操作系统提出了全新的要求 面向AI设计的智能汽车，需要融会贯通、功能强大的操作系统作为底层支撑 AFull-DomainOSasaFoundationforAI-PoweredEVs 车身控制 底盘控制 仪表盘人机界面智能驾驶 支撑全域面向AI、复杂、智能化的应用 整车资源管理和调度底层打通硬件架构 Full-DomainSupportforComplicatedAIApplicationsResourceManagement OS HolisticHardwareArchitecture 面向AI的整车全域操作系统 Full-DomainOSforAI-PoweredEVs 面向AI的整车全域OS SkyOS-H 多场景优化、高性能、高可靠的虚拟机监视器 SOA框架 软件升级 数据闭环 功能安全 信息安全 （TOX协议栈、 网络 TSN……） …… SkyOS-C 面向原生智能深度定制 SkyOS-R 面向丰富应用场景 高性能、实时性深度优化 SkyOS-M 基于微内核构建 高安全、强可靠性、强实时性 SkyOS-L 轻量、强可靠性、强实时性 … 手机应用 数字座舱 自动驾驶 车控 车联 应用 Agent框架 模型（LLM,MoE……） 融合资源调度 （SoC异构资源、车·端·边·云协同） AI运行时 SkyOS 中间件 SkyOS 内核 SkyOS 虚拟化 硬件适配层 驱动 芯片及设备 硬件 全互联 以车为中心的AI数字体验 多模态信息智能处理 AI图像搜索/通话摘要/全局识屏/NOMIGPT 内容智能创作 AI消除/旅行回忆 智能隐私保护 车牌智能打码/ 恶意应用检测 云端智能 多智能体框架 主动情景智能 智能车控/智能寻车照片/NOMI建议 云端大模型 端侧大模型 语言大模型 图像大模型 多模态大模型 车手云协同调度 跨端流转 导航流转/跨端记事/ 跨端可见可说 跨端操控 NOMI跨端指令/NOMI控车 数据管理 原子化服务管理 融合安全隐私保护 CPU GPU NPU 安全芯片 智能驾驶 智能驾驶是AI综合能力的反映 空间认知-想象重建 Reconstruction 蔚来世界模型NWMNIOWorldModel 时间认知-想象推演 Reasoning 智能驾驶的技术发展史也是算法空间理解能力的进化史 SpatialAlgorithmsandCognition,EvolveAlongWithADTechnologies 真实视频 2D/3D检测 2010-2020 BEV 2021-2022 OCC 2022-2023 蔚来世界模型NWM2024 长视频生成 GeneratingLongVideos 推演万千平行世界 CountlessParallelWorlds 每0.1秒生成216个平行的可能轨迹，评估后选出最优解 216PossibleTrajectoriesPer0.1SecondfortheOptimalSolution 空间理解 SpatialCognition 时间理解 TemporalCognition 使用海量数据 ExtensiveData 常规端到端模型 RegularE2EModel 蔚来世界模型 NWM 多元自回归生成模型MultivariableAutoregressiveGenerativeModel 学习任务单一抽取信息有损失 SingleLearningTaskDataLoss 生成模型重构传感器输入抽取泛化信息 ExtractionandGeneralization 无长时序建模能力 NoLongTime-SeriesModeling 自回归模型 自动建模长时序环境AutomaticLongTime-SeriesAutoregressiveModeling 轨迹监督信号信息密度低依赖感知标注辅助训练成本高效率低 RelianceonAuxiliaryTraining 依赖自监督学习无需人工标注 Self-SupervisedLearningFromRawData 智座舱 AI是智能座舱的有趣灵魂 全球首个车载人工智能系统 World'sFirstIn-CarAICompanion NIODay2017.12 NOMI 情感引擎 情感表达 原子表达能力 表达统筹 表达策划 专属智能 人设灵魂 学习养成 专属记忆 情境智能 情境仲裁 情境计算 感知抽取 NOMIAgents多智能体 DJAgent 旅拍Agent 探索Agent … 守卫Agent 停车Agent 服务Agent 极速响应 对话联想 多音区识别 无限趣聊 NOMI情感引擎 情境智能专属智能情感表达 ,00 项 技能不断增长和升级 NOMIGPT大模型聊天累计互动次数 趣玩表情 聆听等待 用户对话次数提升 一句话多指令 MOS评分 可见即可说 记事提醒 魔法氛围 一语直达专属服务 NOMIGPT 灵动视窗 全舱免唤醒 自定义唤醒词 AI场景生成 儿童专属体验 全舱记忆 NOMIAgents多智能体 智慧能源 补能体系无AI不智慧 全球数字运营 数字化的终局是AI 50%效率提升 「研产供销服」全面应 大模型用户专属服务 LLM-PoweredUserServicesEfficiencyUp50% —个成功的智能电动汽车公司，一定是一家成功的AI公司 ASuccessfulSmartEVCompanyHastoBeAnAICompany