XR与数字孪生技术研究与实践

2022.06.26沈旭昆 钱学森与VirtualityandReality 虚拟现实概念与内涵 一种可能的颠覆性技术 一种终极的人机界面 虚拟现实的3I特性 参与者借助VR系统给出的逼真视听触觉信号而产生的对虚拟空间的想象 构想性(imagination): 参与者可以利用各种感官功能及人类自然技能与虚拟环境进行交互考察与操作 交互性(interaction): 参与者全身心地沉浸于计算机所生成的三维虚拟环境，并产生身临其境的感觉 沉浸性(immersion): 智能性（intelligence） 虚拟现实：增强现实，增强虚境，虚拟环境 RealEnvrionment AugmentedVirtuality(AV) REAV AugmentedReality(AR) MixedReality ARVE VirtualEnvironment 从2D显示到 3D显示为主 改变观看固定屏幕为头戴眼镜自由观看 从人机键盘鼠标交互到人与虚拟环境自然交互 虚拟现实技术可能颠覆什么 虚拟现实技术可能颠覆什么 构建任意时空物理世界事物的虚拟孪生 各行业全新的实验与验证平台 互联网的新入口和新社交环境 头号玩家：游戏—社交—平行世界 开启图形时代 IvanSutherland：三维交互式图形系统，1963画板 1965终极的显示 1966HMD1968E&S1988图灵奖 图形学和VR的里程碑，63－68年…… IvanSutherland：1963画板 1965终极的显示 1966HMD1968E&S1988图灵奖 科幻版的头盔 图形学和VR的里程碑，63－68年…… 虚拟现实硬件系统 技术先锋与雅皮 1973年 Krueger提出了“ArtificialReality”一词，这是早期出现的VR词语。 i 1989年 美国VPL公司的创立者JaronLanier提出了VirtualReality 一词，2018年出版《虚拟现实-万象的开端》，展示了VR如何更新与拓展了我们对人类本身的理解，在大脑和身体如何与世界连接方面提供了新的视角 虚拟现实的艺术和感性表述——Lanier 一种必须摆脱游戏、电影、传统软件、新经济权利结构、甚至先驱想法的新的艺术形式。 在另一个地方、另一个身体或另一个世界逻辑中创造幻想的娱乐产品。 一种终极媒介技术，这意味着它永远不会变成熟。 人类感官和运动器官的镜像，也可以将他想象成人体的反像 当代杰出的画家埃舍尔(Escher) 《GEB一条永恒的金带，Gdel,Escher,Bach: AnEternalGoldenBraid》 G本世纪伟大的数学、数理逻辑学家哥德尔(Gdel) E当代杰出的画家埃舍尔(Escher) B最负盛名的古典音乐大师巴赫(Bach) 哥德尔的不完全性定理，巴赫 的卡农和赋格，埃舍尔的怪圈 镜像、映射、同构、上升、殊途同归 当代杰出的画家埃舍尔(Escher) 科学与艺术的结合是一条永恒的金带——左脑右脑，感知更加全面 交叉融合是创新的必由之路 技术体系 三维智能重建 家埃舍尔(Escher) 当代杰出的画 物体三维扫描 (a)美能达VIVID910三维扫描仪 (b)秦始皇兵马俑三维数据采集现场(c)一次扫描得到的三维数据 场景三维扫描 3DModeling-Scanning2016-05 当代杰出的画家埃舍尔(Escher) 计算机视觉建模 当代杰出的画家埃舍尔(Escher) 风格化建模 当代杰出的画家埃舍尔(Escher) 复原级的数据采集和展现 拉斐尔的艺术，不可能的相遇（2021，北京） 外力引导的流体重建 行业应用不断深化：XR+医学 2005 2011 美国国家卫生研究院的 虚拟手术&虚拟手术室 2013 美国政府、欧盟的虚拟人脑计划 1989 美国虚拟可视人计划 瑞士的“蓝脑”计划 数字人体器官模型及手术模拟器 国家自然科学基金重大项目 刚体、柔体、流体等对象的分立、叠加仿真 力觉反馈“仿不精” 数据驱动动态关联 材质耦合、时空一致、实时动态交互仿真手感精确、实时交互 个性化血管介入手术 六自由度刚体与柔体交互仿真 当代杰出的画家埃舍尔(Escher) 行业应用不断深化：XR+航空航天 六自由度安全任务飞行模拟器 当代杰出的画家埃舍尔(Escher) 六自由度全任务飞行模拟器 面向飞机驾驶舱设计评估的虚实融合系统 在上海飞机设计研究院构建了ARJ21飞机虚实融合驾驶舱 的画家埃舍尔(Escher) 当代杰出 ARJ21飞机实景ARJ21真实驾驶舱内部环境 ARJ21虚实融合驾驶舱外景ARJ21虚实融合驾驶舱内部环境 面向飞机驾驶舱设计评估的虚实融合系统 •ARJ21飞机虚实融合驾驶舱设计评估系统结构图（以100平方米工作空间为例） 虚实融合单价集成装备 驾仪 驶虚实融合显示 仓 评 摄像机表 高 效 建 估定位装置移动、云计算构 触力觉信息 行业应用不断深化：XR+文旅 Reappearing VanGogh MetropolitanMuseumofArt Avatar DigitalMichelangelo VirtualExaminationMuseum VirtualExaminationMuseum 多感官交虚拟现实交互展示—“礼和万方商周青铜鼎” 混合现实电子沙盘 电子沙盘原型展示 1.单用户展示 2.多用户本地协同 3.多用户远程协同 混合现实电子沙盘 混合现实电子沙盘 3D手势跟踪 1.naturalinteractionwithvirtualobjectsinaphysicallyplausiblemanner 1.accurateavatarrepresentationofyourhandstoincreaseyoursenseof‘presence’ 3D手势跟踪 Humaninteractionin VR/AR 混合现实交互设计 基于凝视抓取模式的虚拟菜单设计研究——IEEEVR2021录用 Audiences’sPerception Audiences’sPerception EnhancingAudienceEngagementinPerformingArtsThroughanAdaptiveVirtualEnvironmentwith aBrain-ComputerInterface，IUI2016 国际艺术基金项目“宁夏花儿” 虚拟现实表演中的交互叙事研究——“宁夏花儿” Audiences’sPerception Audiences’sPerception 数字孪生的定义与特征 •数字孪生是采用虚拟现实技术构建物理实体的虚拟对象，并在两者之间建立双向数据通道。 •虚拟对象依据物理对象的历史数据和实况数据，实时或及时地进行相应的更新演化， •同时利用自身的运行状态数据，对物理对象全生命周期过程进行实时或及时的预测、控制。 物理实况数据 对象 预测/控制信息 虚拟 对象自演化 三维模型构建 双向动态交互 自动同步演化 发展趋势1：数字孪生是未来网络的主要应用方向 2020年国际电信联盟电信标准化部(ITU-T)：将数字孪生作为未来网络12个主要应用发展方向之一 发展趋势3：数字孪生融合物理空间与虚拟空间 国务院、工信部、多个地方政府的“十四五”规划纲要中均将推动数字孪生新技术的创新应用，数字孪生技术也是Facebook等提出的元宇宙概念的关键技术之一 支撑平台的仿真引擎 •兼容和可集成已有仿真软件/算法等资源，实现实况数据的接入、虚实配准，支持三维数字孪生的自动同步演化进化; •主要挑战：异构仿真软件/算法集成，虚实配准. 演化 开发 开源计算数据 接口接入 资源接入 资源封装工具仿真配置工具仿真管理与可视化工具 仿真软件/算法部署 仿真软件/算法封装 三维仿真资源库 仿真环境配置管理 虚实数据配准 真实数据接入 人机交互与呈现 三维内容动态演化 仿真计算反馈 开放用户平台