XR 猜测方法黑皮书 （ 汉 ）

面向XR的GTI5G指标和测试方法白皮书 1 面向XR的GTI5G指标和测试方法白皮书 GTI5G指标和测试方法 走向XR白皮书 Version: v_1.0.0 可交付成果类型 □程序文件☑工作文件 保密级别 □向GTI运营商成员开放□向GTI合作伙伴开放 ☑向公众开放 Program 5G技术与产品 工作组项目 技术演进 任务 5G-A技术 源成员 中国移动、华为、中兴 支持成员 高通、ASR、Unisoc、Airtel Editor 张宏标(CMCC)、孔绿汀(CMCC)、曹磊(CMCC)、姜天明(CMCC)、张世军(CMCC)、李萌(CMCC)、马若飞(华为)、李毅(华为)、秦毅(华为)、余傅(华为)、李娜(中兴)、王欣泰(中兴)、刘润斌(中兴)、路开封(中兴) 上次编辑日期 2023-09-01 批准日期 保密性:本文档可能包含机密信息，并且只能由机密级别中列出的人员访问本文档。未经GTI事先书面授权 ，不得使用、披露或复制本文件的全部或部分内容，经授权的人员只能将本文件用于与授权一致的目的。GTI对本文件所含信息的准确性、完整性或及时性不承担任何责任。本文档中包含的信息如有更改，恕不另行通知。 文档历史记录 Date 会议编号 Version# 修订内容 2023.9.6 GTI#38 V1.0 初始版本 目录 Introduction7 1面向XR的服务质量评价指标8 1.1服务度量概述8 1.2服务度量的定义9 1.2.1演示文稿质量9 1.2.2交互质量10 1.2.3源质量11 2面向XR的5G性能指标12 2.15G指标概述12 2.25G指标的定义12 2.2.1.名望等级度量12 2.2.2.I帧和P帧13 2.2.3.帧延迟13 2.2.4.帧吞吐量15 2.2.5.车架可靠性16 3面向XR的设备能力和测试方法18 3.1设备能力要求18 3.1.1.测试系统架构18 3.1.2.服务器要求18 3.1.3.测试端子要求18 3.1.4网络设备要求19 3.2试验要求19 3.2.1.Scenario19 3.2.2.服务20 3.2.3.Environment20 3.2.4.数据处理20 4References21 执行摘要 扩展现实（XR）作为早期Metaverse的主要载体，正在改变人们的生活和生产方式。具有大带宽 ，低延迟和高可靠性的5G网络可以帮助XR行业蓬勃发展。然而，XR的沉浸式体验对通信网络有更高的要求。本报告旨在推动行业内XR服务质量评价指标和5G性能指标的形成，提出要求。设备能力开发典型XR业务的测试方法，为保证5G网络中XR业务用户体验的关键技术提供客观的质量评估指标和统一的测试方法。 缩写 缩写 Explanation XR 扩展现实 VR 虚拟现实 AR 增强现实 MTP 运动到光子 FPS 每秒帧数 ATW 异步Timewrp FOV 视野 KQI 关键质量指标 KPI 关键绩效指标 QoS 服务质量 HMD 头戴式显示器 PDCP 分组数据汇聚协议 MAC 介质访问控制 TB 运输块 UE 用户设备 USB 通用串行总线 SSB SS/PBCH块 RSRP 参考信号接收功率 SINR 信号与干扰加噪声比 GoP 图片组 MTHR 运动到高分辨率 5GC 5G核心 ARQ 自动重复请求 IMAX 图像最大值 FEC 前向纠错 E2E 端到端 IP Internet协议 RAN 无线接入网 GPU 图形处理单元 VOD 视频点播 gNodeB 下一代节点B Introduction XR作为早期Metaverse的首要载体，正在游戏、社交媒体、购物、文化旅游等领域为人们的生产生活方式带来革命性变化和创新体验，成为拉动数据流量、带动消费升级的重要载体。市场正在加速拥抱XR行业的新兴趋势，具有良好的发展趋势。IDC认为,从长期来看,全球VR/AR显示器出货量继续大幅增长,到2024年达到7670万台,年复合增长率为81.5%[1]。同时，大带宽、低延迟、高可靠性的5G网络可以帮助XR行业蓬勃发展。 XR服务具有帧传输的特性，例如60FPSXR云渲染服务，每16.6ms需要传输一帧。虽然头部显示终端具有ATW算法,但是如果网络传输不能及时完成,头部显示器可以基于前一帧预测并生成下一帧图像,这可以将MTP延迟的要求降低到70ms。对网络时延、吞吐量、可靠性等性能仍有较高要求，5G网络的关键技术解决方案有待进一步研究。 然而，在研究关键技术解决方案之前，有必要明确和定义用户体验的5G性能和服务质量评估的客观指标。在现场测试中，用户体验主要是指测试人员的主观感受和主观记录，如失速持续时间、神器 、黑边框等。有个人因素会导致有偏见的结果，并且很难与其他现场测试的结果进行比较。此外，各种XR服务平台对网络性能的统计方法也存在差异。需要统一XR业务的帧时延、帧吞吐量、帧可靠度的定义、数据采集、测量报告和统计方法，并与量化的主观经验建立映射关系进行问题查找。 本报告旨在推动行业内XR业务服务质量评价指标的形成，定义5G性能指标，形成5G性能指标的统计方法，探索设备能力和典型XR业务的测试方法。本报告第1章提供了面向XR的服务质量评估指标的概述和定义。本报告第2章提供了面向XR的5G指标的概述和定义。本报告第3章阐述了面向XR业务的设备能力和测试方法的要求。 本报告由中国移动、华为和中兴联合撰写。 1面向XR的服务质量评价指标 通过考虑在典型XR服务期间影响用户观看体验的技术因素，制定服务质量指标来评估网络质量。 XR服务包括全景/视野（FOV）视频、IMAX电影、互动游戏和互动教育，本报告研究基于XR视频和游戏的服务质量评价方法和模型，也适用于具有类似功能的服务，例如互动游戏的体验模型也适用于互动教育。 1.1服务度量概述 典型的XR服务基于VRMOS模型和关键质量指标（KQI）进行评估，包括呈现质量指标（例如多模式同步，停顿，伪影和黑色边框），交互质量指标（例如交互响应和MTP延迟）和源质量指标 （例如比特率，帧速率，分辨率和FOV）。基于体验满意度的量化研究和5G实网体验满意度测试结果,制定XR服务体验质量分级标准。 由于不同的网络质量对用户体验的影响不同，因此指定了某些关键评估指标。这些指标包括不同的服务KQI，旨在从服务角度分析对移动网络质量关键性能指标（KPI）的可能影响。服务KQI由三种类型的用户可感知的、可测量的KQI组成，这些KQI可以反映网络服务质量（QoS）：源质量指标 ，表示质量指标和交互质量指标。下图显示了服务质量评估框架。 图1服务质量评价框架 1.2服务度量的定义 1.2.1演示文稿质量 （1）失速持续时间 该指标是指单个测试期间所有失速图像的总帧间间隔(以毫秒为单位)。终端记录每个视频帧到达、解码或渲染的毫秒时间戳。如果两个连续帧之间的间隔超过指定阈值,则记录失速事件。当恢复帧间间隔时,记录停止恢复。将发生失速时的视频帧时间戳作为失速开始时间。tsx,以失速恢复时的视频帧时间戳作为失速恢复时间tex。然后，总失速持续时间ttotal可以计算如下： t总计=∑tsx−tex x 在公式中： tsx:时间当x(th)图像失速发生tex:图像从x(th)失速 ttotal:总失速持续时间 （2）失速次数 该指标是指在单次测试期间图像停止(等待缓冲)次数。 （3）伪影发生率 VR视频数据传输中的数据丢失或前向纠错(FEC)故障导致图像失真、马赛克或其他伪影。通过对基于时间的加权pPLR(t)求和来计算伪像率,其表示单次测试中的秒t中的数据丢失率。根据媒体会话中的位置来确定权重,并且根据遗忘曲线来衰减权重。 （4）黑色边框率 该指标是指当用户的头部旋转或移动时,来自二次渲染的图像中出现的黑色边界的比例(%)。记录在每个HMD移动之后的方向四元组OrietQat_HMD和当前渲染的图像的方向四元组OrietQat_Graph 。然后获得在OrietQat_HMD和OrietQat_Graph之间沿X轴的角度差,其由度数表示。该差(度)指示水平FOV上的黑色边界角。然后将其除以HMDFOV,其结果等于单次黑色边界率。第二级或全球平均黑边界率也可以。 按要求计算。 （5）音视频同步 该指标是指XR视频和音频之间的同步延迟（以毫秒为单位），在单次测试中，终端在每帧中记录毫秒时间戳电视当视频帧到达或渲染时，毫秒时间戳ta当对应的音频帧到达或播放时，该帧的音视频同步延时计算如下：电视–ta（ms）。也可以根据需要计算第二级或全局平均值。 （6）音频-运动同步 该指标是指虚拟空间中数字人的动作/嘴巴/表情图像与音频之间的同步延迟（以毫秒为单位）。在单次测试中，终端在每一帧中记录毫秒时间戳电视当音频帧到达时和毫秒时间戳ta当相应的运动图像到达或渲染时。该帧的音频-运动同步延迟计算如下：电视–ta（ms）。也可以根据需要计算第二级或全局平均值。 （7）指令-运动同步 该指标是指来自用户的指令和数字人的动作之间的同步延迟(以毫秒为单位)。在单次测试中，终端在每一帧中记录毫秒时间戳tm当提供指令和毫秒时间戳时电视当相应的运动图像到达或被渲染时。该帧的指令-运动同步延迟计算如下：电视–tm（ms）。也可以根据需要计算第二级或全局平均值。 1.2.2交互质量 （1）操作响应延迟 该指标是指用户执行操作的时间与用户看到对该操作的响应的时间之间的延迟(以毫秒为单位)。在单次测试中，终端在每一帧中记录毫秒时间戳tm当提供指令和毫秒时间戳时电视当期望的图像到达或渲染时，该帧的操作响应延迟计算如下：电视–tm（ms）。也可以根据需要计算第二级或全局平均值。 （2）MTP延迟 该指示符是指头部旋转和图像刷新之间的流逝。对于云XR服务，用户和云应用程序之间存在复杂的实时交互。云应用对交互指令进行计算、渲染、压缩和编码后,将响应图像作为视频流发送给终端进行解码和显示。E2E服务延迟也称为MTP延迟(以毫秒为单位)。在单次测试期间，终端记录毫秒时间戳(.tm)用于每个运动完成后的HMD运动收集时间和毫秒时间戳 (电视）用于相应的运动图像到达或渲染时间。单个指令与运动同步之间的差异计算如下：电视– tm(ms)。可以根据需要计算第二级或全局平均值。 （3）MTHR延迟 对于多个依赖于区域的VR流,VR应用可以使用姿态数据来确定新的视口,其对应于在新的视口区域中使用的高质量视频流和在其他背景区域中使用的低质量视频流。当用户的头部旋转时,他们可能经历从低质量、低分辨率视口到高分辨率、高质量视口显示的转变,并且切换时间被定义为MTHR(运动到高分辨率,MTHR)。在单个测试期间,终端记录毫秒时间戳。tL对于低质量、低分辨率视口和毫秒时间戳tH对应的高质量、高分辨率视口。MTHR延迟的计算方式如下：tH–tL(ms)。可以根据需要计算第二级或全局平均MTHR等待时间。 1.2.3源质量 （1）视频比特率 该指示符是指在VR视频编码期间每单位时间(以比特/秒为单位)采样的视频数据量。在单次测试中 ，记录XR视频每帧的大小，测试或视频播放完成后的总大小M（以Mb或Kb为单位）以及测试或视频播放持续时间t（以s为单位）。然后,单次测试的平均视频比特率是M/t(以Mbit/s或Kbit/s为单位)。 （2）视频帧率 该指标是指VR视频编码时的每秒帧数（FPS），单次测试时，记录XR视频每秒渲染或播放的帧数作为第二级帧率，以及测试或视频播放的总帧率M和时长t（单位为s），则平均帧率为M/t （单位为FPS）。 （3）决议 该指标是指VR视频编码时的图像像素数，测试时记录XR渲染或播放的视频帧每秒的像素数（HxW），在自适应分辨率场景下，平均分辨率可以秒计算。 （4）FOV 该指标是指VRHMD的水平单眼FOV，水平单眼FOV的值通过系统或物理接口读取。 2面向XR的5G性能指标 2.15