XR扩展现实终端设备测试白皮书（2023年）

扩展现实终端设备测试白皮书 WhitePaperonExtendedReality(XR)DeviceTestingTechnology (2023年) 中国通信标准化协会 扩展现实（XR）产业及标准推进委员会2023年12月 版权声明 本白皮书版权属于扩展现实（XR）产业及标准推进委员会和中国通信标准化协会，并受法律保护。转载、摘编或利用其他方式使用本白皮书文字或者观点的，应注明“来源：扩展现实（XR）产业及标准推进委员会和中国通信标准化协会”，违者追究法律责任。 中国通信标准化协会扩展现实（XR）产业及标准推进委员会 参编单位 中国信息通信研究院OPPO广东移动通信有限公司 湖北星纪魅族科技有限公司思博伦通信科技（北京）有限公司深圳市腾讯计算机系统有限公司浙江水晶光电科技股份有限公司博鼎实华（北京）技术有限公司维沃移动通信有限公司 上海鲸岚科技有限公司舜宇光学（浙江）研究院有限公司浙江生一光学感知科技有限公司中山大学中山眼科中心 移动应用创新与治理技术工业和信息化部重点实验室 感谢以下机构对本白皮书的编写提出宝贵建议 中兴通讯股份有限公司晨讯科技集团 北京抖音信息服务有限公司深圳市钛和巴伦技术股份有限公司紫光展锐（上海）科技有限公司 傅蓉蓉 刘毓炜 朵灏 来航曼 何波 孙玉林 韩秉权 王健 周勇 欧阳春 陆根萌 冯东洋 代威 聂蔚青 黄永德 陈玉琨 郗英坤 原冰 马頔 郑梦瑄 陈爱婷 王俊青 王亚忠 董丙银 王冰青 蒋坤君 毛炀 袁进 钟菁 娄岩 翟梦冉 王健宇 董千洲 扩展现实（含虚拟现实、增强现实、混合现实）是新一代信息技术的重要前沿方向，是数字经济的重大前瞻领域，扩展现实终端设备被认为是下一代通用性技术平台和互联网的入口。 随着技术的不断发展，扩展现实终端设备也在不断改进和优化，一些扩展现实终端设备已经可以支持高清画质、低延迟、无线连接等功能，提升了便携性和舒适性。同时，扩展现实终端设备也在不断降低成本，使得更多的人可以享受到这种技术带来的便利和乐趣。但是扩展现实终端设备的用户体验还达不到消费端用户的要求，相应的扩展现实终端测试技术还属于初期发展阶段，为加强扩展现实测试技术研究与交流，加快推动我国扩展现实产业发展和标准化进程，本白皮书聚焦扩展现实终端设备，围绕其相关核心技术整理检测关键指标并建立设备测试指标评价体系，梳理典型测试工具和测试案例，分析当前检测技术存在的问题并提出可行性建议。 由于扩展现实产业仍处于快速发展期，相应的设备测试技术也在不断更新迭代，白皮书中难免有不妥之处，敬请读者批评指正。 一、扩展现实产业概述1 （一）扩展现实内涵1 （二）扩展现实产业发展现状2 （三）标准化工作情况4 二、扩展现实关键技术概述7 （一）近眼显示7 （二）感知交互9 （三）网络传输10 （四）渲染处理12 三、扩展现实终端设备测试指标13 （一）常规测试13 （二）静态测试16 （三）动态测试28 （四）用户体验32 四、扩展现实典型测试工具及案例36 （一）典型测试工具36 （二）典型测试方案40 五、挑战及发展建议55 （一）问题与挑战55 （二）发展建议56 附录Ⅰ：沉浸式体验主观评价问卷设计58 附录Ⅱ：缩略语61 图1扩展现实终端设备测试指标体系13 图2VR棋盘格对比度测试图17 图3AR棋盘格对比度测试图17 图46DoF示意图23 图5统一API及接入框架25 图6SR-803近眼显示测试系统38 图7SP-1000空间定位测试系统示意图39 图8BUDDY测试系统示意图40 图9测试方案布局示意图41 图10视频质量测试结果43 图11实时测试结果示意图44 图12单帧MTP时间拆解示意图45 图13预处理信号的特征向量提取50 图14一轮完整的触觉反馈实验过程53 表索引 表1XR标准制定情况4 表2IEEEVR/AR2048系列标准6 表3典型XR应用的切片划分12 表4性能测试指标26 表5稳定性测试27 表6外设测试指标27 表7投屏/串流测试指标30 表8短距离测试指标32 表9不适症状34 表10XR终端WiFi端到端测试结果42 表11多帧MTP测试结果45 表12头显角度抖动误差测试46 表13静态抖动测试数据46 表14测试场景分类47 表15终端A和B在不同场景下的追踪定位精度测试结果47 一、扩展现实产业概述 （一）扩展现实内涵 扩展现实（XR），是指通过云计算、计算机图形学、传感技术等多种计算通信技术将真实与虚拟相结合，在终端呈现一个可人机交互的高沉浸虚实结合的环境，也是虚拟现实（VR）、增强现实（AR）、混合现实（MR）等各种沉浸式技术的统称。VR使用头戴式显示器等设备将用户完全包裹在虚拟世界中，通过高度沉浸式形式与现实世界隔绝。AR使用摄像头等设备将虚拟元素叠加在现实场景中，让用户感觉到现实场景中出现了额外的虚拟元素，增强了用户对现实场景的感知和理解。MR将真实世界与虚拟世界相结合，通过头戴式显示器等设备将虚拟元素与现实世界融合在一起，让用户感觉到虚拟元素与现实场景在同一空间中并存。 结合扩展现实的演进历程，XR的发展大致可以分为以下四个阶段： 萌芽启动期（1968s-2012s），1968年，美国计算机图形学之父IvanSutherlan，组织开发了第一个计算机图形驱动的头盔显示器及头部追踪系统。直到2010年后，随着计算机性能、图形处理技术、动作捕捉技术的进步，XR技术才进入普通消费电子领域。2012年，OculusRift登陆Kickstarter众筹网站，早期风险投资项目出现。 发展膨胀期（2012s-2016s），2012年，谷歌发布了一款名为GoogleGlass的AR眼镜，激发了人们对于XR产业的想象。2014年Oculus被Facebook以20亿美元的天价收购，同年，Google推出廉价的 CardBoard，只需插入智能手机即可体验VR。2015年，三星GearVR设备开售，微软Hololens面世，PokemonGo风靡全球，第一波XR产业热潮兴起。 低谷期（2016s-2019s），2016年，Oculus、HTC、Valve、华为、微软等密集发布新品。同时，VR/AR设备大量涌入，内容短板开始引起重视。行业缺乏技术竞争力，企业失去资本造血之后，XR产业经历了从热炒、低谷到复苏的漫漫长路，留存企业韬光养晦。 复苏期（2019s-至今），2020年，爆款游戏《HalfLife:Alyx》达到消费级水平引爆VR行业。2021年，元宇宙概念爆发，Facebook改名Meta，字节跳动近百亿收购Pico，带来了XR产业的第二次热潮。2023年，苹果推出了备受期待的MR产品VisonPro，再次搅动XR市场，开启了空间计算时代，使得大部分厂商着手考虑将VR产品向MR产品过渡。 （二）扩展现实产业发展现状 从市场规模看，根据IDC数据显示，由于受全球经济以及消费需求疲软影响，2023年第二季度全球AR/VR头显出货量连续第四季度下降，出货量同比下降，预计2023年全年VR/AR头显出货量仅为850万台。但短期波动不影响长期增长趋势，预计2024年VR/AR头显市场将同比增长46.8%，到2027年，全球VR/AR头显销量将达到3030万台。 从技术路线看，VR镜片逐渐从成本较低、技术成熟、可大规模量产的菲涅尔镜片和非球面镜片，逐渐转向体积更轻薄，成像质量更优秀的折叠光路Pancake方案。AR光学显示方案呈多元化发展，棱 镜、Birdbath、自由曲面、光波导等方案并驾齐驱，其中光波导略胜一筹。每次计算平台的更迭，背后必然是交互方式的革命。XR终端交互方式从手机、手柄、指环、语音、手势、眼动再到多模态融合，不断提升沉浸体验。全彩透视（VST）技术逐渐成为业界主流解决方案，逐步模糊VR、AR和MR的边界，用户可以在虚拟世界和真实世界中自由切换。端侧引入异步时间扭曲（ATW）、异步空间扭曲 （ASW）、眼动追踪叠加注视点渲染等技术，确保XR终端画面流畅的同时，减轻端侧负载压力，降低硬件成本。 从产业生态看，“内容-硬件-生态”的正向循环初步形成，终端公司纷纷推出XR开发集成工具（SDK），引擎公司Unity、UnrealEngine等也相继推出XR开发插件，但是XR碎片化问题严重导致内容制作周期变长，内容生态孤岛化。应用需要一对一的和终端硬件平台进行适配，同样终端硬件也需要一对一与内容资源进行适配。为此，美国开放标准行业协会KhronosGroup发布了OpenXR标准规范，国内也在推行GSXR标准，用于实现XR硬件平台和应用内容的互联互通。 从政策指引看，近年来国家不断发布政策文件推动产业发展。2017年发改委发布《加快推进供给侧结构性改革着力增加消费需求有效供给》要求尽快出台可穿戴设备、虚拟现实等领域的关键技术标准，规范新兴行业发展。2021年《十四五年规划和2035年远景目标纲要》中将VR/AR列为未来五年数字经济重点产业之一。2022年10月工信部等五部门联合印发《虚拟现实与行业应用融合发展行动计划 （2022-2026年）》，提出到2025年总体规模（含相关硬件、软件、 应用等）超过3500亿元，虚拟现实终端设备销量超过2500万台。 （三）标准化工作情况 XR行业尚处于发展初期，国家需要可依据可执行的检验检测标准规范，保护消费者的知情权、人身安全、健康等权益，保障消费者的基础用户体验，从而促进市场的有序发展；行业需要相关技术要求和测试标准规范，指引行业关键技术的研究和重点产品及业务的规模应用；企业需要相关标准规范，指导其产品及业务的研发、测试，保障其产品及业务的质量。 1.国内标准 目前我国正在积极开展XR领域的标准化研究工作，已经发布了虚拟现实显示设备和虚拟现实应用软件的国家标准，并有大量在研的行业标准项目和团体标准项目。 表1XR标准制定情况 标准类型 标准编号 标准名称 标准状态 国家标准 GB/T38259-2019 信息技术虚拟现实头戴式显示设备通用规范 已发布 国家标准 GB/T38258-2019 信息技术虚拟现实应用软件基本要求和测试方法 已发布 国家标准 20190776-T-469 信息技术虚拟现实内容表示编码第1部分:系统 在研中 国家标准 20192086-T-469 信息技术虚拟现实内容表达第2部分:视频 在研中 国家标准 20214282-T-469 信息技术虚拟现实内容表达第3部分:音频. 在研中 国家标准 20203868-T-339 虚拟现实设备接口定位设备 在研中 行业标准 YD/T4310-2023 移动互联网环境下虚拟现实业务术语 已发布 行业标准 2020-1153T-YD 虚拟现实一体机总体技术要求 报批中 行业标准 2020-1155T-YD 基于电信网的云化虚拟现实总体技术要求 报批中 行业标准 2020-1154T-YD 基于电信网的云化虚拟现实网络技术要求 报批中 行业标准 2020-1851T-YD 基于电信网的云化虚拟现实云平台技术要求 报批中 行业标准 2021-1103T-YD 基于电信网的云化虚拟现实终端技术要求 报批中 行业标准 2020-1156T-YD 基于电信网的云化虚拟现实端到端业务质量要求和监测方法 报批中 行业标准 GY/T356-2021 VR视频系统节目制作和交换用视频参数值 已发布 行业标准 2021-1060T-YD 基于5G网络的AR视频通信业务总体技术要求 在研中 行业标准 H-202207184211 虚拟现实一体机测试方法 在研中 行业标准 H-202211154641 扩展显示（XR）设备用户权益保护测评规范 在研中 行业标准 H-202211254778 基于智能终端的室内场景AR三维建模数据采集方法 在研中 行业标准 H-202203233678 基于移动互联网的扩展现实（XR）设备通用接口技术要求 在研中 团体标准 2020-CCSA-20 基于移动终端的分体式虚拟