科大讯飞用多模感知技术打造智能网联汽车新体验2023

X科大讯长FLYAUTO 用多模感知技术打造智能网联汽车新体验 王兴宝 科大讯飞股份有限公司 智能汽车BU算法研发总监 2021-07-08河北沧州 自动驾驶测试验证技术创新论坛 科大讯飞介绍 亚太地区知名智能语音与人工智能上市公司 X科大讯长FLYAUTO 科大讯飞002230 iFLYTEK股票代码 中文智能语音及人工智能产业领导者 语音及语言信息处理国家工程实验室 中国第一个认知智能国家重点实验室 登榜2019MITTR全球50家聪明公司 入选首批国家新一代人工智能开放创新平台 牵头制定中文语音技术标准 2003年、2011年，两次荣获“国家科技进步奖 2005年0自动驾驶测试验技术新术坛 科大讯飞已成为国内汽车厂商首选的语音交互产品品牌 深耕18年 完成1000余个车型项目交付 覆盖90%以上中国自主品牌和合资品牌 2500万辆及以上汽车前装搭载 EAGBYD GM X科大讯FLYAUTO iflyautoinside//让汽车驾驶更安全更智能更有乐趣//l NeusoftISAEUDMOSMEIECA?XSOLING铁将军北斗星通 东联天下送峰科技am长虹佳华PATEOS商通 -APTIVIALPINEBOSCHHARMANVisteonontinent码证技术创新论坛 十八年的沉淀 从2003年到2021年，科大讯飞沉淀了全闭环的汽车语音交互核心技术 X科大讯FLYAUTO 粤语 窄带波束 普通话 E英语 ￥ 四川话声纹识别 声源定位 全闭环的汽车智能语音交互核心技术 智能打断 泰语 陕西话 语音合成 [u] 小0语音唤醒俄语 听歌识曲自然语言理语音识别 东北话解日语 韩语 Iflyautoinside//让汽车驾驶更安全更智能更有乐趣/ 自动驾驶测试验证技术创新论坛 每台车都有一个懂你的智能助手 这位具有复杂属性的“朋友”，需要产品、技术、工程共同“培养” X科大长FLYAUTO 从我的谈吐，你会了解我的为人 形象 人设 交互 我也不是无所不能 智能互动 和成长 你好！Eric 鲜明的类人个性 声音 我有我的个性 拟人化的多模态助手推荐 我们会越来越了解 愉悦的生动的被此，相伴成长 互动感受化身 感知情境 我不是枯燥死板 的聊天机器人 IiflyautoinsideI/让汽车驾驶更安全更智能更有乐趣/ 自动驾驶测试验证技术创新论坛 信息输入与输出 根据美国哈佛商学院有关研究人员的分析资料表明，人的大脑每天通过五种感官接受外 部信息的比例分别为：味觉1%，触觉1.5%，觉3.5%，听觉11%，以及视觉83% X科大讯长FLYAUTO TASTETOUCH SOUND1%1.5% 11%SMELL 3.5% %06VISION83% 83% 信息输出依靠语言信息输入依靠视觉 Iflyautoinside/l/让汽车驾驶更安全更智能更有乐趣/lll 自动驾驶测试验证技术创新论坛 站在车的角度看人机交互 听说看显的技术、交互理解的艺术 知感听看 X科大讯装FLYAUTO 知 认听觉交互理解视觉 知 感说显 Iflyautoinside///让汽车驾驶更安全更智能更有乐趣/ 自动驾驶测试验证技术创新论坛 听 汽车比人听得更轻松、更仔细更准确，让服务精准送达 任意时刻，一语必达 高噪场景识别率超90% X科大讯长 FLYAUTO 任意用户，懂你所讲 多语种/方言识别率超S7% 英语 Anytime 任意位置，精准到“位” 声音定位准确率超9S% AnybodyAnywhere Iiflyautoinside//让汽车驾驶更安全更智能更有乐趣/ 自动驾驶测试验证技术创新论坛 听 汽车比人听得更轻松、更仔细更准确，提供贴心服务 X科大讯长FLYAUTO 多模语音识别个性化识别 让交互更加自然以你喜欢的方式，听你所说 多模语音识别唤醒/识别自适应 视觉VAD语法习惯自适应 多生物鉴别VoicelD+FacelD语义自定义 Anytime 情绪识别Personal 细分领域识别 让交互更有情感 基于语音情绪识别 满足每一位乘客的语音需求 让识别无死点，一路畅通 基于文本情绪识别汽车知识库识别 性别识别年龄识别 Anybody Anywhere 女性人群鲜识别 儿童人群识别 iflyautoinside/让汽车驾驶更安全更智能更有乐趣/l 自动驾驶测试验证技术创新论坛 听FLYAUTO 国际英文语音识别大赛中高噪音环境下获得突破 56.5455.5961.3361.01 76.42 55.5255.2656.09 50.3650.59 46.4246.6346.14 48.24 单麦克风阵列RankA分布式麦克风阵列RankA单麦克风阵列RankB分布式麦克风阵列RankB ■科大讯飞机构2机构3机构4 2019年9月包揽国际多通道语音分离和识别大赛（CHiME）全部四 个项目的冠军，比官方系统提升绝对35个点 自动驾驶测试验证技术创新论坛 Iiflyautoinside/让汽车驾驶更安全更智能更有乐趣/// 看 科大讯飞FLYAUTO 汽车比人看的更清楚、更仔细、更准确成员单位证节 人脸识别国标工作组成员 人脸识别 注视追踪 手势识别 无感登录+活体检测 所见即所控 手势识别20+ 暗光下精准率>99.9% AOI精准率>99% 召回率>95% 静态手势+动态手势 准确率93% 人机Japim 交互ICCV2019The20BN-jester WIDERFACEANDPERSON2020,德国The20BN-jester Dataset手势识别评测中以 CHALLENGECastSearchby 97.26%准端新联冠军 安全 驾驶疲劳检测分心检测行为检测 眼清+嘴田开度检测头姿估计+视线追踪打电话、抽烟等检测 路面注视精准率>99%精准率>93.7% 召回率>95%召回率>96% Iiflyautoinside/让汽车驾驶更安全更智能更有乐趣/l S 高精准率 高可靠性 高效低本 综合工况准确率>99% 适应复杂光线环境，克服 纯软方案，不增加硬件成 可完成Yaw士90，Pitch 了驾驶员佩戴眼镜、口 本，支持CPU+NPU硬 ±45°和Roll±45°方向内 罩、面部各种适挡等复杂 件加速，DMS标准版 大角空态下的准确检场景的影响CPU占用低至8K 自动驾驶测试验证技术创新论坛 听+看 听和看不是孤立的，很多场景下是相互协同的，可以提高感知效果 FLYAUTO 报警声 外部人声 风 车载高噪环境下多模识别效果 多模态语音识别 引季噪声胎噪交通噪声多模态语音VAD赠杂场景识别提升语音识别效 极大降低干扰 果提升 90% 外部噪声彻底解决扬声器回声消除残留81% 音区串扰残留、同音区人声残留 干扰影响。 扬声器 MLA 端到端意图识别 区分人人人机 全时全场景 47% 声音说话免唤醒 车内语音 汽车杂场景首创唇音融合免唤醒技术开口直说一语直达 Iiflyautoinside/让汽车驾驶更安全更智能更有乐趣/l 自动驾驶测试验证技术创新论坛 听+看 听和看不是孤立的，很多场景下是相互协同的，可以提高感知效果 X多模态语音技术演示 口部遮挡媒体音 X科大讯FLYAUTO 160奖登读书会《情绪念教》播放 遮挡环境音 唇形图城市噪音-钟声车声播放 左音区右音区全向停止设置 多模态语音 （驾驶员） 单模态语音 语音 自动驾驶测试验证技术创新论坛 Iiflyautoinside//让汽车驾驶更安全更智能更有乐趣// 说 语音合成超过真人水平，让声音传递信息、温暖、情感 X科大讯长FTYAUTO 2019BlizzardChallenge语音合成连续十四年夺冠 情感化明星音库 声音商城 个性化 tts豆豆 合成开心活跃... 声音复刻 BizzardChallenge2019各系统自然度得分豆豆 悲伤低落 多语种声音复刻 俄莲娜合成 1.41.31.3俄语沉稳 家人陪伴 大气方言合成 竹子 四川活泼妹子xtts 关键指标自然度、相似度第一，自然度4.5MOS创历史新高 科大讯飞与中科大语音及语言国家工程实验室联合参赛 通用AiSound 合成 伊曼 知性女性 MOS分 Iiflyautoinside/让汽车驾驶更安全更智能更有乐超趣/// 基于模板拼接合成基于深度学习合成 自动驾驶测试验证技术创新论坛 说 汽车音响系统还原音乐厅效果 汽车音响还原目标 频响自然、细节丰富、无音染 高频细腻、中频温暖、低频结实有力，收放自如。声场还原准确、舞台宽度合适 人声定位精准、真实 环境包围丰富、营造现场感左右乘客位置听感接近 FLYAUTO 未专业处理过的的汽车音响：没有舞台感优秀汽车音响：音乐厅般的自然效果 Iiflyautoinside/让汽车驾驶更安全更智能更有乐超趣/// ·自动驾驶测试验玩证技术创新论坛 说 设计调音 讯飞具备全链路的音效综合解决方案能力 FLYAUTO 车型 规划设计 内饰E/E零部件整改宣传量产持续设计开发优化引导跟踪OTA HU音频参数测试扬声器安装位置分析扬声器产品服务持续OTA服务 针对HU的音频输出做提供整套扬声器安装位置提供整套扬声器产品可提供持续的音效选代优化客观音频参数分析与主观音质分析与音效分析服务也可以共同改善汽车原有扬声器音质基至是功能性新增 自动驾驶测试验证技术创新论坛 Iiflyautoinside/让汽车驾驶更安全更智能更有乐超//l 听+说 听和说结合，从听到说全链路管理 处理 语音前端语音交互蓝牙通话语音交互 FLYAUTO 通活前端 处理 蓝牙通话 通道管理 语音前端 处理 ICC iSAMS 音效通 提升 前端 处理 ICC前车内通信通话前端开放算道管 端处理处理 车内通信 力平台理 完全分离的前端处理和设备，导致软硬件综合输入输出管理，以更低的硬件成本提成本高，资源开销大，效果提升难。供综合解决方案。 (iSA Iiflyautoinside/让汽车驾驶更安全更智能更有乐趣/l 显 让汽车智能助手有颜值，有内涵，有个性多样形象交互彰显每辆车独特气质 X科大讯长FLYAUTO 语音开关 声波律动20+场景关联 30+动作设定 口型同步 2D形象 表情自定义生成角色成长增强显示 GUI交 互 VUI交命令式连续性场景关联人格设定 互语音操控交互语音检索交互个性化交互情感化交互 flyautoinside//让汽车驾驶更安全更智能更有乐超// 自动驾驶测试验证技术创新论坛 显X科大讯长FLYAUTO 用语音驱动口唇、表情、手势等肢体动作的变化，以达到更自然的人性化的虚拟形象展现 中性开心悲伤 语音合成多模态合成多维度合成 ·从单一模态走向多模态，从语音合成到视频多模态合成 从单一维度走向多维度，从口唇动作的合成到表情以及肢体动作的表达 自动驾驶测试验证技术创新论坛 IflyautoinsideIl/让汽车驾驶更安全更智能更有乐趣//ll 显X科大讯FLYAUTO 用语音驱动口唇、表情、手势等肢体动作的变化，以达到更自然的人性化的虚拟形象展现 X PPT Step1:Constructhistoricalfinancials anddeterminekeyfactorsf'valueStepZ:Projecttanget'sfinancialsanddrivers)contributingtofirmestimateitsstandalonevalue performance M&AValuationModel [SummaryTable) Step4;Addtarget'standalonevalue Sttp3:Estimatevalueofsynergandsynergyvaluetoderivethevalue ofthetargettothebidder 交互一体机自动驾驶测验证技术创新论坛 Iflyautoinsidel//让汽车驾驶更安全更智能更有乐趣/llll 交互理解-语义理解 “平台+模型策略”带来语义理解真智能 现网技能正确率达9