新型人机交互体验演进与未来数字生活

新型人机交互体验演进与未来数字生活 2022年11月 cmri.chinamobile.com 中国移动研究院用户与市场研究所 3 人-虚拟人交互体验与未来数字生活 2 人-机器交互体验与未来数字生活 人机交互模式演进1 新技术背景下人机交互的信息感知与输出、信息处理和交互对象正在发生变化 具体变化如下： 1.信息感知：机器已经可以感知语音、手势等指令； 2.信息处理：和人的决策相对应，机器开始借助人工智能技术进行信息处理和决策； 3.信息输出：机器逐步普及语音输出通道，并出现简单的触觉信息输出； 4.身份识别：在人机交互的过程中对人进行身份认证； 5.交互对象：虚拟人开始作为交互主体出现在人机交互过程中。 1 多种感知方式 身份认证4 虚拟人交互5 多通道输出3 2 机器决策 传统的人-机器交互流程 未来的人机交互主体将拓展为人-机器-虚拟人三方    人 机器虚拟人 感知 输出 人 身份认证 处理 人与虚拟人交互 人与机器交互 感知 感知 处理 虚拟人 虚拟形象 机器 输出 处理 输出 虚拟人与机器交互 信息感知 输入 输出 信息输出 信息处理 人 身份认证 人机界 面 机器/ 虚拟人 信息处理 信息输出 信息感知 输出输入 未来人机间将建立起人-机器-虚拟人三方互动的交互模型。 目前人与机器交互正在经历转变，人与虚拟人交互处于起步阶段。 每种交互模式均遵循信息感知-决策-信息输出的交互流程。 人-机器-虚拟人三方交互将延伸出以虚拟人和智能机器为主导的交互模式 人 人 机器 虚拟人 感知 人 身份认证 输出 人与虚拟人交互 处理 人与机器交互 虚拟人-虚拟人交互 感知 感知 机-机交互 虚拟 人 虚拟人 虚拟形象识别 输出 机 虚拟人与机器交互 人机-机器交 互 处理 处理 输出 机器 人 未来人机交互还将发展出虚拟人与机器、虚拟人与虚拟人、机器与机器三种交互模式。 随着机器人技术的成熟，虚拟人和机器有望在机器人身上得到融合，两种交互对象呈现融合趋势。 以虚拟人和智能机器为主导的交互模式将在10年后逐步出现 除正在发生变化的人与机器和刚刚萌芽的人与虚拟人交互外，虚拟人与机器、虚拟人与虚拟人、机器与机器三个交互模式将在未来10年后逐步萌芽。 1980年 人机交互概念提出 2016年左右XR和AI技术大规模应用 2021 元宇宙元年 2031以后 虚拟人技术成熟 传统人机交互经历命令和图形用户界面时代 人与机器交互随着XR和AI技术大规模应用，人与机器间呈现多通道、智能化交互趋势 人与虚拟人交互元宇宙萌芽，人与虚拟人之间开始出现简单交互 虚拟人与机器交互虚拟人具备主动交互能力 虚拟人形成规模 虚拟人与虚拟人交互 可交互机器形成规模 机器与机器交互 注：技术成熟时间依据Gartner、信通院等机构研究数据和研究院内部研究预判 3 人-虚拟人交互体验与未来数字生活 1 人机交互模式演进 人-机器交互体验与未来数字生活2 未来10年人机交互将逐步拓宽信息感知及输出通道 1.信息感知：未来10年，语音识别、动作捕捉、肌电接口、脑机接口等技术逐步打通听觉、视觉、生物电等机器感知通道。 2.信息输出：未来10年，体三维显示、气味模拟、生物声传感、触觉反馈等技术逐步打通视觉、听觉、嗅觉、触觉等机器输出通道。 机器/虚拟人 输入 输出 人 信息感知 2年以内 2-5年 5-10年 10年以上 感知技术 语音识别 动作捕捉 人脸识别 情绪感知 步态识别 手势追踪 眼球追踪 —— 肌电接口 脑机接口 机器/虚拟人 输出 输入 人 信息输出 2年以内 2-5年 5-10年 10年以上 传感技术 语音合成 沉浸声场 体三维显示 生物声传感 全息显示 —— —— 气味模拟 触觉反馈 外骨骼 注：技术成熟时间依据Gartner、信通院等机构研究数据和研究院内部研究预判 未来5-10年人-机器交互将迎来关键发展节点，并从个人生活延伸到生产和服务 机器感知 视觉 听觉 2年以内2-5年 手势…+动作、表情…语音语义 5-10年 ……+情绪 ……+情绪 10年以上 ……+健康状况同上 视觉 二维图像 机器输出 听觉 嗅觉触觉 ……+自然语音 —— —— ……+三维图像 ……+沉浸立体声……+生物声传感 ——气体 ——触感 ……+全息图像 同上 ……+气味信号 ……+力辅助 体验场景 语音操控肢体+眼动操控 2C2CB+C 个人消费+办公…个人消费+家庭…娱乐+残障辅助… 2B 医疗+工业… 典型场景 听+触+嗅觉沉浸 脑电操控 核心体验 1.机器感知方面，未来5-10年间从感知外在表现转向 感知内在情绪。 2.机器输出方面，未来5-10年间扩展出视听嗅触4种感知通道。 3.应用场景方面，未来5-10间从个人消费等C端场景逐渐延伸到医疗和工业等B端场景。 未来5年内动作捕捉、眼动追踪和人脸识别等技术使个人消费等场景的设备操控方式更加多样 2-5年内，眼动追踪、动作捕捉等技术得到广泛应用，集中体现设备操控、运动健身等个人消费场景下。其中头戴式显示器、隐形眼镜等个人设备能够感知和识别的用户信息越来越多，身体姿态检测可识别的动作类型也越来越丰富。用户在消费生活中可以使用的操控方式越来越多样。 家庭 个人消费场景 家庭安防 …… 设备操控运动健身 …… 头戴式设备眼动操控 AR隐形眼镜眼动操控 身体姿态监测 运动数据检测入户人脸解锁 未来5-10年气味模拟、触觉反馈、肌电接口等技术使个人娱乐等场景的体验更加沉浸，残障服务等场景的操控更加智能 5-10年内，沉浸声场、气味模拟、触觉反馈、肌电接口、情绪感知等技术得到广泛应用，集中体现沉浸式娱乐和残障辅助等场景下。沉浸式娱乐覆盖的感官越来越丰富，游戏沉浸感越来越强。肌电操控义肢可完成的动作越来越多，为残疾人提供越来越智能的帮助。 商业场景 娱乐场景残障辅助场景 听觉沉浸 嗅觉沉浸 触觉沉浸 …… 义肢操控 盲文显示 …… 商业客服 …… 娱乐场景中的沉浸体验 肌电操控义肢电子盲文显示器 三维视频客服 10年后脑机接口和步态识别等技术使医疗和公共服务等场景的流程更加高效 10年后，脑机接口、步态识别、外骨骼等技术得到广泛应用，集中体现在智慧医疗和公共安全等场景下。步态识别提高了抑郁症的诊断效率，脑机接口提高了神经类疾病治愈的可能性，医疗服务更加高效；步态识别目标人物提高了安防工作的准确率，公共服务更加高效。 医疗场景 工业场景 公共安全场景 疾病识别 治疗和康复 …… 大人流识别 非法入侵告警 …… 力量和运动辅助 …… 抑郁症识别 渐冻症治疗 目标人物识别非法入侵识别劳动辅助 2 人-机器交互体验与未来数字生活 1 人机交互模式演进 人-虚拟人交互体验与未来数字生活3 未来5年后人-虚拟人交互将迎来关键发展期，并开始在生活和生产场景下协同发展 5-10年 10年以上 虚拟人感知 视觉 手势 …+动作、眼动… 虚拟人输出 自然语音 二维图像 ……+沉浸立体声 ……+三维图像 ……+全息图像 同上 体验场景 听觉 视觉 ……+情绪 语音语义 听觉 ……+情绪 2-5年 2年以内 1.虚拟人感知方面，未来5-10年间从感知外在表现转向感知内在情绪。 2.虚拟人输出方面，未来5-10年间实现三维图像显示。 核心体验 +情感交互 语音+手势操控 …+动作、表情同步 典型场景 2B 金融、零售等客服 2C 社交+娱乐 B端与C端协同发展 3.应用场景方面，未来5年后B端及C端场景协同发展，趋向成熟。 未来2年内语音交互和手势识别等技术使智慧服务等场景下的体验更加智能 2年以内的虚拟人交互体验以语音会话和手势同步为主，主要体现在金融、文旅和零售等场景下的虚拟客服方面。虚拟理财顾问、虚拟讲解员、虚拟导购等形象在提供智慧服务的同时也突出了品牌形象特点。 服务型虚拟人（2B） 金融场景 零售场景 文旅场景 虚拟客服 …… 虚拟理财顾问 虚拟导购 …… 虚拟导游虚拟讲解员 …… AIYA小浦滨滨屈晨曦 未来2-5年动作捕捉、面部识别等技术使个人社交和娱乐等场景下的 操控更加自然 2-5年以内的虚拟人交互体验以肢体动作同步、表情同步、眼神同步为主，主要体现在社交和娱乐场景的虚拟分身方面。用户对虚拟聚会、虚拟会议中的第二分身和数字角色的操控更加自然。 虚拟分身 社交场景娱乐场景 虚拟私人聚会虚拟会议数字角色操控 ………… 个人形象的虚拟第二分身游戏角色 未来5年后情绪感知等技术使医疗和家庭服务等场景的体验更加情感化 5年以后的虚拟人交互以情感化体验为特点，主要体现医疗和家庭等场景的情感陪伴方面。虚拟心理治疗师和家庭陪伴虚拟人具备情感交互的能力，能够为用户提供情感化的陪伴体验。 服务型虚拟人（2B） 服务型虚拟人（2C） 医疗场景 家庭场景 心理治疗 …… 家庭陪伴家庭陪护 …… 虚拟心理咨询虚拟陪伴虚拟陪护训练 关注更多渠道，了解更多信息 研究院官方微信 cmri.chinamobile.com 微信号：中国移动研究院 研究院官方网站 中移智库官方微信 微信号：cmrizyzk http://cmri.chinamobile.com/