无屏智能音箱产品体验研究（2020）

智能硬件用户体验系列报告 ——无屏智能音箱产品体验研究 cmri.chinamobile.com 中国移动研究院用户体验中心 近年来国内智能音箱市场规模逐年增大，2019年出货量高达3682.2万台，较上一年同比增长126.6%，预计2020年出货量高达4820万台，市场规模将达到1820亿元。 2016-2020年中国智能音箱市场规模及预测 2000 市场规模（亿元） 同比 50% 1500 40% 30% 1000 20% 500 10% 0 0% 2016年2017年2018年2019年2020年E 数据来源：奥维云网、艾媒数据中心 智能音箱市场竞争日益激烈，马太效应加剧，中小玩家生存空间被不断压缩，行业集中度进一步加强。IDC报告数据显示，2020年1-4月国内音箱出货量前三名的品牌分别为天猫精灵、百度和小米，市场占有率达到95%以上。 2020年1-4月国内智能音箱市场份额分布 3.6% 30.4% 35.2% 阿里巴巴 百度 小米 其他 30.8% 数据来源：IDC 2019年4月阿里巴巴推出天猫精灵方糖，采用全方形设计，按键简洁，风格清新，单品占据全年25%市场份额，成为当时热门产品，许多公司跟进推出了同类型产品。 本次测试产品选取规则： ①造型：与天猫方糖造型风格接近的产品 ②品牌：覆盖国内主流音箱品牌 ③型号：同品牌产品选取最新款 本次测试时间：2020年5月 无屏智能音箱测评对象 小度音箱Play （百度） 天猫精灵方糖R （阿里） 小爱Redmi （小米） 小雅Nano （喜马拉雅） 中国移动研究院用户体验研究中心结合研究积累，提出了智能音箱产品体验评价体系，该体系重点关注音箱品质及用户体验水平，包含硬件质量、人机交互、云端智能、管理软件4大维度，共计40余项指标。本报告从上述四大维度分析各音箱测评结果和差异表现。 智能音箱体验评价体系 硬件质量 硬件输入能力硬件处理能力 硬件输出能力 硬件外观 人机交互 语音交互 软件交互触控交互 云端智能 音箱内容资源云端服务能力覆盖 云端服务质量 管理软件 功能操作界面布局 •硬件质量部分数据来源于中国移动终端公司品质保障部实验室，通过实验室测试获取数据 •人机交互、云端智能、管理软件三部分数据来源于中国移动研究院用户体验中心，通过专家走查、抽样测试等方法获取数据5 Part1 硬件质量 目录 Part2 人机交互 Part3 云端智能 Part4管理软件 唤醒响应时延 •四款音箱均表现良好，唤醒时延均在0.5s以内，基本唤醒词语音结束，音箱即被唤醒 音箱唤醒时延(ms) 382 268 276 427 天猫精灵小度play小爱redmi小雅nano 唤醒成功率 •天猫精灵表现最好，测试中100%成功唤醒，而小雅Nano唤醒成功率偏低 80 64 16 100 音箱唤醒成功率(%) 天猫精灵小爱redmi小度play小雅nano 唤醒时延：从唤醒词语音结束到智能音箱被成功唤醒所经过的时间，主要体现智能音箱本地唤醒服务的效率唤醒成功率：考察音箱在待机状态下、三十分钟内每隔恒定时间对被唤醒时，唤醒成功的次数占比 唤醒灵敏度 •同一款音箱在不同方位被唤醒时无差异； •四款音箱中小度Play表现最好，唤醒时所需音量最小，为36dB。 中断唤醒灵敏度 小度Play 小雅Nano 天猫精灵 小爱Redmi 唤醒灵敏度/dB 正面 36 45 36 47 背面 36 45 36 47 侧面 36 45 36 47 中断唤醒灵敏度/dB 50 59 54 53 •四款音箱中小度Play表现最好，中断唤醒时，所需音量为50dB。 •注：音箱被唤醒/中断唤醒时所需要的最小音量值越小，说明灵敏度越高 唤醒灵敏度：智能音箱在无噪环境下，可以被准确唤醒所需要的最小音量； 中断唤醒灵敏度：考察智能音箱在自身播放音乐的场景下，可以被准确唤醒所需要的最小音量。测试时唤醒词发声源置于音箱正面，通过手机蓝牙推送智能音箱播放音乐，通过分贝仪确保播放音量相同，该指标体现智能音箱消除自身干扰并准确拾 取唤醒词的能力；8 硬件表面温度 •本次测试中，四款音箱散热能力相差不大； •相对而言，天猫精灵整体散热表现最好，平均温度最低； 音箱表面平均温度(摄氏度) 36373839 天猫精灵小雅nano小度play小爱redmi •注：音箱表面温度越低，表明音箱散热能力越好 散热能力：考察智能音箱运行时的表面温度状况，表面温度越低，一定程度上代表音箱散热能力越好；测试时音箱播放音频资源，并记录一小时内的最高温度作为测量值。 指令反馈时延 •小度Play和小爱Redmi表现良好，指令等待时延约为1.5s，反应较快； 指令反馈时延(ms) 17591782 1578 1415 小度play小爱redmi小雅nano天猫精灵 指令响应时延：指智能音箱在唤醒状态下，从语音指令结束到智能音箱给予反馈所经过的时间 Part1 硬件质量 目录 Part2 人机交互 Part3 云端智能 Part4管理软件 单轮对话语义理解评能力 •小雅Nano在单轮对话语义理解方面表现最佳，能听懂最多种常用表达方式，实现语音播控操作； 93 92 87 80 单轮对话语义理解正确率(%) 小雅nano小度play天猫精灵小爱redmi 语义理解：考察智能音箱对通用播控语音指令理解的正确性，通过语音问答判断音箱反馈是否符合用户期望。本次测试共设计60条指令，涵盖播放、暂停、音量调节等多项通用操作。 •各音箱在语音切换点播内容方面普遍表现较好； •在时间查询、汇率查询、诗词上下句问答、人物关系称呼询问等场景下，多轮问答均表现不佳，特别是小雅Nano，智能问答查询正确完成率不足10%，体验较差； 天猫精灵 小度Play 小爱Redmi 小雅Nano 在线资源点播 94% 88% 88% 88% 智能问答与查询 27% 36% 64% 9% 多轮对话测试在云端智能和语义理解的基础上，选取部分场景进行追问，考察音箱对于当前语境的理解能力，即根据音箱是否可以在不重申当前场景的前提下继续回答相似的问题或反馈相似的内容进行综合评分 模糊识别能力 •当用户语音指令出现不匹配信息时，除小爱Redmi外其余三款音箱均表现良好，都能给用户推荐相关内容 智能推荐能力 •当用户语音指令不明确时，除天猫精灵外其余三款音箱均表现良好，都能正确给用户推荐相关内容 小度Play 小爱Redmi 小雅Nano 天猫精灵 模糊识别准确率 100% 80% 100% 100% 智能推荐准确率 100% 100% 100% 87% 模糊识别：考察当用户语音指令中出现不匹配信息，如歌手名正确歌名不正确、歌名正确歌手名不正确、歌名缺字等情况时，能否匹配出相关结果推送给用户； 智能推荐：考察当用户指令不明确时，如没有明确歌曲名称、歌手名字等条件时，能否匹配相关内容推送给用户 Part1 硬件质量 目录 Part2 人机交互 Part3 云端智能 Part4管理软件 音箱内容资源 •小雅Nano在电台、有声书、相声小品评书最新资源引入方面表现最好； •小爱Redmi音乐覆盖表现最好，除全面接入小米音乐外，还与QQ音乐深度合作； •天猫精灵接入的听书资源最多，有声书资源覆盖广； •小度play在儿童故事、相声小品、电台方面资源丰富； 小度Play 小爱Redmi 小雅Nano 天猫精灵 热门内容覆盖 有声书 70% 10% 80% 80% 儿童(故事、儿歌） 90% 80% 60% 60% 相声评书小品 80% 40% 53% 73% 电台 100% 90% 100% 100% 音乐 90% 100% 75% 85% 最新内容覆盖 有声书 70% 60% 80% 50% 儿童(故事、儿歌） 60% 50% 100% 60% 相声评书小品 67% 60% 100% 67% 音乐 85% 95% 35% 80% 热门内容覆盖：从有声书、儿童、相声小品评书、电台、音乐五大类的热门内容覆盖情况，来评测热门音频覆盖情况 最新内容覆盖：从有声书、儿童、相声小品评书、音乐四大类的最新内容引入情况来横向对比内容更新差异 音箱云端服务能力覆盖 •在云端服务覆盖率方面，天猫精灵得分最高，能力类型丰富，服务形式多样； •整体覆盖率比较高的云端服务形式包括资源点播、天气/时间/汇率等基础信息查询、闹钟设定等工具助手； •整体表现不佳的云端服务形式包括火车票/机票/手机号码归属地查询，以及生活缴费等需要打通支付及本地生活能力平台的服务形式； 小度Play 小爱Redmi 小雅Nano 天猫精灵 资源点播 100% 100% 95% 100% 信息查询与问答 73% 77% 73% 85% 缴费支付 0% 25% 25% 75% 工具助手 83% 50% 50% 100% 智能家居 100% 100% 0% 100% 1、梳理智能音箱能力，并将各能力进行分类，根据各类能力在音箱中的重要程度及用户使用频率，设定不同权重； 2、从资源点播、智能问答、工具助手、支付购物、智能家居控制几方面，走查音箱在互联网服务能力覆盖方面的差异；17 音箱云端服务质量 •小雅Nano和天猫精灵表现较好，回复内容更丰富详实，话术更灵活多样，表达更接近人的语言，用户接受度更高 云端服务质量得分 95959289 小雅nano天猫精灵小度play小爱redmi 选取音箱共有云端服务能力，从音箱回复内容的多样性、音箱使用的稳定性、语音交互方式友好性等多个维度，横向对比 考察音箱在云端服务质量方面的差异；18 Part1 硬件质量 目录 Part2 人机交互 Part3 云端智能 Part4管理软件 管理软件 •天猫精灵APP得分最高，为95分，天猫精灵APP功能丰富，提供丰富的播控操作等基础功能，以及语音备忘、自定义指令组合等特色功能，界面设计简洁，交互操作流畅。 95 90 90 85 智能音箱管理软件得分 天猫精灵 （天猫精灵） 小爱redmi （小爱音箱） 小雅Nano （小雅） 小度play （小度） 本次评测主要是从管理软件提供的功能有效性、界面设计合理性等维度，进行用户体验评测； 中国移动研究院用户体验中心综合以上四大维度下各产品表现，得出本次测试的四款产品排名及推荐星级如下表。通过对音箱市场的持续关注及并结合本次评测，总结无屏音箱发展趋势为： 智能音箱厂商不断拓展业务合作，提升语音助手能力，云端服务形式不断丰富，智能音箱越来越智能； 语音交互体验越来越好，智能音箱的多轮对话能力不断完善，语音交互体验不断提升； 智能音箱内容呈现趋同性，但在内容运营能力方面各家差异明显 音箱品牌及型号 建议星级 小度Play天猫精灵方糖R小爱Redmi小雅Nano 关注更多渠道，了解更多信息 研究院官方微信 研究院官方网站 中移智库官方微信 cmri.chinamobile.com http://cmri.chinamobile.com/ 微信号：cmrizyzk 微信号：中国移动研究院