虚拟数字人研究报告：溯源、应用、发展

虚拟数字人：溯源、应用、发展 @新媒沈阳 目 录 CONTENTS 01．从医学到网络：概念溯源 02.从语言到形象：技术现状 03. 从二维到三维：演化应用 04.从场景到“人”：产业洞察 05.从“IP”到部落：规律总结 06.从技术到伦理：未来展望 从医学到网络：“虚拟数字人”概念溯源 采集人体数据 对尸体作精细断层处理 基于自然人的技术采集数字高清图像用大型计算机处理 义关系 医学范畴概念 数字化虚拟人体 文关系 虚我人（VisualHuman），是通过数字技术樱拟真实的人体器官需合成的三维模型。 盛拟人[2016年玛举罗斯布控特编写图书 通过动作捕捉、三维建模、语音合成等技术 基于互联网的技术借助AR/MR/VR等终端 网络范畴概念 呈现出虚拟立体“人” 虚拟数字人”概念图谱 虚拟数字人：存在于数字世界的“人”，人类通过虚拟形象：通过漫画、动画或采集人体面部数 各种数字化技术，打造一个具有虚拟样态的立体 “人”，是科技与文化相融合的产物。虚拟数字人在一定程度上将复制人类的知识、记忆、思维，在人类个性化设计下，人机交互将被赋予智能化、情感性、思想性特征。 据，模拟真人形成，更偏向二次元形式。 机器人：是一种可编程和多功能的操作机，能仿生人：即仿真机器人，指是以模仿真人为目够半自主或全自主工作，具有感知、决策、执的制造的机器人，还有仿制人和人型机器人等行等基本特征，可以辅助甚至替代人类完成危名称。仿生人仿真的程度有所不同，有些是可险、繁重、复杂的工作，提高工作效率与质量，以从外观上识别，也没有真人的思想和感情。服务人类生活，扩大或延伸人的活动及能力范现时仿生人仍然在试制阶段，却是长期以来科围。幻和机器人学的一大主题。 虚拟数字人”研究偏向技术领域 钟世销军医大学仿真手术。数字医学 空间球 环就 数字虚拟人 游床解制学二维构建 穴位研究 力矩优花kinect#9数字虚拟人 动编辑逆运动学逆妇动力学虚拟士兵动则三维重组技术 可视化运动重定间四元款三维重建技术医学软件 买动控 #5数字化虚拟人种车辆虚拟维修训级业标下降运动控制虚拟环境 系统设计特征点对齐 数字化虚拟人可达性 数据采集 计算机物助 运动辅获 #2人运体建动模控制#7手语合成 虚拟中国人 人机工维修性评价色协作关键顺插值法 vm 表情动作模报ecd算法人体动画 虚拟人物 物理系科罗拉多 人工心理人#4人工智能 首都医科大学 预测手语合成 主物医学工程可视人计划虚摄拆装健高孟验·治发式策略方真activex摄士兵 学无私奉献，放射学影像动合成成维修仿真品计算机图形动机模型 国家自然科学基金#3数字化虚拟人体量 软模型 循环选代人群 #0虚拟 虚拟人合成连易法 虚拟教师 研究概况 相位成像实时米品 经系统仿宾行 操作仿真 妇人机工程学 遥操作 生物工程学院数据集 速搜机卡 规点控制 电力变电培训系统 虚拟现实力反馈设备 动规划#1虚拟现实模 多agen合作博弃 图片来源：以“虚拟数字人”为关键词氧电机瓶手势运动数放选生教育 在知网数据库进行核心期刊索引，根据虚报人机工程设 工程机械工业设计 数据在citespace中进行绘制虚拟设计 交互沉没 三维模型 人机工效验证 虚拟数字人场景技术：三维建模 01应用场景02代表公司03发展趋势 定义：通过放样，运用建模语国外：美国Autodesk公司广泛应用于建筑设计、三维 言，组合建模等多种形式，构建国内：重庆领航新智诚科技有限 动画、音视制作等各种静态、 虚拟现实系统技术，创建出逼真 公司动态场景的模拟制作。 的虚拟环境。三维模型、三维声音等形成 技术应用：文化遗产与博物馆直观、简单的单位模型，丰 应用场景：商业演示，军事装备模拟，医疗模型，工业制造业机械设计模拟，园林景观展示效果，三维打印。 电影与游戏、3D打印、无人机和机器人 富了虚拟现实系统中的场景，简化虚拟现实系统的构建。 虚拟数字人交互技术：智能语音理解 01应用场景02代表公司03发展趋势 定义：基于语音识别、语音合国外：Nuance、微软、谷歌、交互场景：家里>车上>路上 成、自然语言理解等技术，为苹果、亚马逊>工作 企业在多种实际应用场景下，国内：科大讯飞、百度语音、中 赋予产品“能听、会说、懂你”科信利，尚科语音，捷通华声等技术演进：1.从语音助手到式的智能人机交互体验。独立的智能产品（从苹果 应用场景：智能问答、智能质技术应用：语音助手：苹果Siri、 Siri到亚马逊Echo) 2.从被动问答到主动交互 检、法庭庭审实时记录、实时微软Cortana、谷歌Assistant3.从你的声音纹路、体征指演讲字幕、访谈录音转写等场语音音箱：亚马逊Echo、Goo标等一系列数据来完成指令，景；人们的衣食住行：智能电gleHome、苹果HomePod、语音将成为最自然的和机器视，智能导航，智能家居等；微软invoke、阿里天猫精灵、交互的范式。 在金融、保险、司法、电商等小米小爱同学 多个领域均有应用案例。 虚拟数字人感知技术：情感计算 01应用场景02代表公司03发展趋势 定义：情感计算的目的是通过国外：Affectiva、BeyondVe情感计算将有效地改变过去 赋予计算机识别、理解、表达rbal、ElTechnologies计算机呆板的交互服务，提 和适应人的情感的能力来建立国内：翼开科技高人机交互的亲切性和准确 和谐人机环境，并使计算机具性。一个拥有情感能力的计 有更高的、全面的智能。技术应用：“情感计算算法”算机，能够对人类的情感进 “可穿戴心电仪、脉搏传感器芯行获取、分类、识别和响应，应用场景：在信息家电和智能片”以及“心率、血压、运动等进而帮助使用者获得高效而仪器中，增加自动感知人们的算法”等产品与服务产品或服务又亲切的感觉，并有效减轻 情绪状态的功能，可以提供更人们使用电脑的挫败感，甚 好的服务。在信息检索应用中，至帮助人们便于理解自己和 通过情感分析的概念解析功能，他人的情感世界。 可以提高智能信息检索的精度 和效率。在远程教育平台中， 情感计算技术的应用能增加教 学效果。 虚拟数字人行为技术：动作捕捉 01应用场景02代表公司03发展趋势 定义：运动物体的关键部位设国外：Xsens、MotionAnalysi未来随着动作捕捉系统行业置跟踪器，测量、跟踪、记录s、VIcoN、SegaInteract技术水平的不断提高，动捕物体在三维空间中的运动轨迹。ive、MAC、X-lst、FilmB技术在我国将会应用到更多 ox、青瞳视觉、Nokov等。的领域，应用领域的拓展也应用场景：虚拟现实系统、机国外：搜维尔科技等将进一步扩大产品的市场需器人遥控、互动式游戏、人体求。 工程学研究、模拟训练、生物技术应用：机械式、声学式、电 力学研究等领域。磁式、光学式、惯性导航式。 虚拟数字人技术模型 卡通建模结合语音合成CG结合动作捕捉 用演员的动作表情捕捉，以及声优同01动作捕捉+实时宣 步配音塑造出一个鲜活的卡通形象。染：腾讯虚拟数字 人Siren 重音于卜欲音儿口 镜音 ocap 动态三维重建 镜音根据光影驱动的实时动态重建方法，并引入了动态对象的骨架运动和体态先验，实现了 KAITO初音三久深度相机的实时人体动态三维重建。 巡音儿力MEIKOPSByInori* 02可实时操控的虚拟数字人：虚拟 替身DigiDoug ADVIEWSBRATED 虚拟数字人”演进1.0阶段：手工绘制 1.技术不成熟，语音、表情、肢体的仿真程度低 与真人形象悬殊手工绘制中 2.制作内容效率较低，以二次元形象为主 1984年，英国出现第一个虚拟演 员MaxHeadroom，主要是通过特 萌芽阶段效化妆和手绘实现。 1982年，日本动画《超时空要塞》中女主角林明美，成为世界上第一位虚拟歌姬。 虚拟数字人”演进2.0阶段：真人驱动 1.主要应用在影视娱乐行业 2.通过摄像机、动作捕捉设备将真人演员的动作 表情采集处理，经计算机处理后赋予给制定的虚拟动作捕捉 数字人 真人驱动 2001年，世界上第一个虚拟主持人阿 娜诺娃（Ananova）诞生。2004年， 央视CCTV-6频道推出了国内首位虚拟 电视节目主持人一小龙。 2007年8月31日，日本制作了第一个 广泛被认可的虚拟数字人一一初音未 来，其是利用CG技术合成。 虚拟数字人”的演进3.0阶段：AI驱动 1.Vtuber兴起带动虚拟主播的发展 真实呈现 2.由计算机虚拟合成的、高度逼真的三维动画 人物，输入既有新闻文本，即可实时进行播报 3.虚拟数字人的发音、唇形、面部表情等与真2013年9月，中国台湾，“虚拟邓丽君” 人能够吻合与周杰伦进行了隔空对唱，演唱了《你 4.通过情感算法技术，虚拟数字人能实现与人怎么说》《红尘客栈》和《千里之外》 类高质量情感互动 智能交互 三首经典歌曲； 2015年5月9日，邓丽君逝世二十周年 虚拟邓丽君与费玉清隔空对唱经典名曲 《你怎么说》、《但愿人长久》。 虚拟数字人”的演进3.0阶段：AI驱动 2020年1月2020年9月2020年9月2020年10月 在国际消费电子展CES展会上百度世界2020大会上，央视主大象互动科技发展有限公蓝角马科技发布第一代超 三星NEON首此亮相，通过持人康辉、百度创始人、董事长司推出第一个Z世代虚拟 写实虚拟时尚博主琪拉 对人物原始面部、声音等数 据进行捕捉并学习之后， 兼CEO李彦宏和20多年前的“小达人Aimee 康”、“小李”两位虚拟人，展开 Qeelia 过的新表情、新动作、新对 NEON能够自主创建未录入了一场“跨越时空”的精彩对话百 话等。度。 当电影迷邂逅理工男虚拟人之间还能这样聊 虚拟数字人”功能性角色：技术驱动 针对音乐播放、天气查询、闲聊对话等智针对客服场景需求，虚拟人化身虚拟客服能助手场景需求，虚拟数字人化身虚拟助植入大屏一体机或Web页面，为用户提供手，植入loT硬件、手机App或车机等问答服务。虚拟客服在智能语音客服的基设备，为用户提供便捷的生活服务。语音础上引入虚拟形象，提供及时答复的同时，助手经过多模态交互赋能后，摇身一变，营造更加亲和自然的客服体验。 成为能说会动的“全能型”智能助手。 数字虚拟助手虚拟客服 虚拟 虚拟导游 针对景区导览、景区问讯等旅游 叮当问答室场景需求，虚拟人化身虚拟导游，植入手机App和微信小程序，为游客提供景区导览、讲解等服务。 可以帮助文旅品牌进一步渗透影 响力，提供差异化的服务，帮助 打造具有粘性的生态内容。 虚拟数字人”社会性角色：价值驱动 针对新闻播报、游戏讲解、电视导播等媒体通过虚拟数字人的普及，人人拥场景需求，为用户提供相应的服务。虚拟主有一个贴身的数字医生，可以监播生成速度快、生产成本低，企业可提高内控我们的饮食起居，对我们的生容产出效率，降低人力生产成本，同时还能活习惯提出建议，使不同地区能打造更具话题感和关注度的差异化品牌。够享有一流的医疗成果 数字虚虚拟主播虚拟医生 拟人虚拟教师 针对网络教学、在线解题等教育场景 需求，虚拟数字人化身为虚拟教师，植入平板或智慧教学屏等中小型硬件设备，为学生提供一对一的专属授课 服务。虚拟教师不仅能够降低生产教 学内容的人力成本，更能有效提升授口若动点户在直快动B：×2-2-0上：地点Q在宽线 课可信度，激发学生的学习兴趣，改 快讯 12:30天津小雪转阴5℃-8℃石家庄小雪1℃℃-3℃太原多云转晴 善教育资源的不平衡。 Ax2y4oBx+2y-4= Cx-2y-4n0D.-2yrc 虚拟数字人”陪伴性角色：情感驱动 针对用户需求，生成个人化的宠物形 象，用户可以通过充值来喂养自己的针对个人需求，数字虚楠木沙 宠物，数字宠物对真实人类主要产生拟人化身成用户数字伴 陪伴性价值。侣，完成日常陪伴服务。 数字虚拟宠物虚拟伴侣 虚拟 虚拟家属CV.木千寻之 根据用户需求，在得到对方允许下，创建用户需要的亲属角色，弥补用户与亲人因时间或距离限制而