XR网络技术体系白皮书

XR网络技术体系 白皮书 中国移动2023年6月 目录 前言3 1.XR概述3 1.1.XR发展历程及趋势4 1.2.XR产业扫描4 2.XR业务带给5G网络的新挑战5 2.1.XR业务需求分析5 2.2.面向XR业务的关键网络指标6 2.2.1.时延6 2.2.2.速率7 2.2.3.容量7 2.2.4.移动性7 2.3.当前面临的主要问题及挑战7 2.3.1.网业如何协同7 2.3.2.连接如何增强8 2.3.3.用户体验如何评测8 3.XR网业端协同技术体系8 3.1.网络感知业务8 3.1.1.基于业务特征识别8 3.1.2.基于数据包业务信息识别9 3.1.3.基于XR专用承载识别9 3.1.4.基于网络切片识别10 3.2.业务适配网络10 3.3.连接能力增强11 3.3.1.容量增强11 3.3.2.确定性时延12 3.3.3.移动性增强14 3.3.4.节能机制15 3.4.端云能力协同15 3.4.1.面向VR应用的协同渲染方案15 3.4.2.面向AR应用的分离渲染方案16 3.5.用户体验感知16 3.5.1.用户体验指标16 3.5.2.网络关键KPI17 4.XR商业价值18 4.1.应用场景18 4.2.XR商业模式探讨19 4.2.1.面向行业2B场景19 4.2.2.2B2C混合场景19 4.2.3.面向个人2C场景19 5.总结与展望20 参考文献21 缩略语21 前言 扩展现实（XR）是当前国内外关注的热点领域，2023年国务院印发《数字中国建设整体布局规划》，在“全面赋能经济社会发展”中首提“沉浸式服务体验”，扩展现实在赋能经济社会发展中将发挥重要的推动作用，助力数字中国建设。 5G是经济社会数字化转型的关键基础设施。本报告旨在探讨面向XR这类大带宽高实时性业务，5G网络应具备的关键技术能力，以推进XR和5G的深度融合，实现随时、随地的虚实交互沉浸式新体验。本报告第一章对XR技术做了整体介绍并分析了产业发展现状，第二章分析了XR业务需求，讨论了该类大带宽实时性业务带给5G网络的新挑战，第三章从网络感知业务、业务适配网络、连接能力增强、渲染能力协同、用户体验感知五个方面阐述了XR网业端协同技术体系，最后从应用场景和商业模式两方面探讨了XR的商业价值。 本报告由中国移动联合华为、中兴、爱立信、高通、MTK等产业合作伙伴共同撰写。 1.XR概述 扩展现实（ExtendedReality，XR）为所有新兴沉浸技术的统称，包含VR、AR和MR等技术。 虚拟现实（VirtualReality，VR）是指通过佩戴设备将用户的感知带入到虚拟世界当中，用户可以在虚拟现实世界体验到最真实的感受，其模拟环境的真实性与现实世界难辨真假，让人有种身临其境的感觉，实现人与虚拟世界间的沉浸交互。 增强现实（AugmentedReality，AR）是指通过计算机生成虚拟信息，并将虚拟信息内容叠加在真实世界上。AR与VR的区别在于AR技术中人与真实世界交互更加直接和自然，随着AR设备技术不断发展，以及5G移动通信网络不断演进，AR设备可有望真正消除虚拟和现实间的边界感。 混合现实（MixedReality，MR）是指得VR与AR相结合的技术，MR同时具备VR和AR的设备功能和优势，可将真实世界、虚拟世界和数字化信息三者相结合，真正意义上实现现实世界和虚拟世界融合交互。 1.1.XR发展历程及趋势 2012年前，XR头显设备在军事等领域已有部分成熟应用，但受限于XR头显设备成本以及技术成熟度，多数早期的XR设备商业化尝试均已失败告终。在2012至2014年间，XR行业进入发展期，谷歌发布了GoogleGlass，标志着消费级AR设备概念的问世，Facebook成功收购VR头显厂商Oculus，并推出Oculusrift的VR头显设备；在2014至2017年间，XR行业迈入了创业和资本的狂热潮，微软、HTC、三星等硬件巨头纷纷推出消费级产品，AR游戏PokémonGo正式发布后，快速火遍全球。但是XR头显设备技术仍不成熟，屏幕清晰度低，用户体验不佳，业务内容应用制作成本高，种类数量少，导致用户的购买意愿较低。在2017~2019年间，XR行业进入退潮期，消费级市场整体发展放缓。2019至今，随着XR头显设备技术不断迭代、内容应用不断沉淀，VR在游戏、社交等内容端开始发力，高通推出首个支持5G的XR芯片平台XR2，Facebook推出行业标杆产品OculusQuest2，PicoNeo3等国产VR一体机也相继面世，VR行业开始走向复苏，2021年VR出货量首超1000万，发展态势良好。2023年6月，苹果发布首款MR头显式设备VisionPro，VisionPro引入了一个全新的输入系统，摆脱了手柄等外接设备，由眼睛、手势和语音来进行交互，有望再次引爆产业，引领XR领域新变革。 未来随着网络、AI计算，边缘云化等基础设施建设不断完善，XR游戏、娱乐、社交、教育等内容不断丰富，XR作为元宇宙的初期核心载体，将会给人们的生活方式和生产方式带来革命性变化和创新性体验。 1.2.XR产业扫描 图1XR产业链扫描 XR产业链较长，涉及到内容应用、系统软件、网络服务、终端整机、芯片、 器件等方面。产业链在内容制作、头显轻量化等方面存在制约产业高质量规模化发展的痛点难点问题，需要产业界共同攻克。 内容应用丰富度待提升：VR内容生态聚焦于视频、游戏、社交场景，其他领域内容涉及较少。由于制作成本高、周期长，以及本身XR市场规模不大，大厂仍处于观望状态，导致VR内容占比不高，例如在全球主流的游戏平台Steam上，VR内容占比不到5%；AR内容生态尚未搭建完全，AR内容生态尚未搭建完全，目前内容应用大多移植手机2D应用，难以激发消费者购买欲望。 终端设备仍需轻量化：受限于光学方案和电池等影响，目前终端设备仍然较为笨重，影响用户佩戴的舒适性。VR/MR头显采用的菲涅尔透镜光学方案成像距离远、光学元件♘，目前新产品逐步采用Pancake方案，有助于减小成像距离；主流头显续航时间在2~3小时左右，屏幕、高性能芯片功耗较高，目前部分新产品通过电池后置、电池外置等方式将电池移出主机，避免影响主机重量；新发布的AppleVisionPro实现手势交互，摆脱了外置手柄的束缚。此外，目前商用头显设备很少具有5G能力，部分已发布的具有5G能力的头显基于5G模组开发，集成度低，需推动基于5G芯片的高集成度产品面世。 网络传输存在挑战：XR业务对于网络下行带宽、网络容量、确定性时延和可靠性均提出全新要求，需要研究兼顾大带宽、低时延、高可靠的连接增强技术，具体内容将在下面章节详细展开。 2.XR业务带给5G网络的新挑战 2.1.XR业务需求分析 XR业务形态丰富，按照对网络带宽、时延不同的需求程度分成高保真强交互、高保真弱交互、低保真强交互、低保真弱交互四类。 图2:基于不同时延带宽需求的XR业务分类 高保真强交互类：同时对大带宽及低时延有较高需求，典型业务包括：4KXR在线游戏、8K沉浸式XR在线游戏、多感官虚拟协作/社交/游戏。例如4K交互游戏需要平均速率约50Mbps且端到端网络时延<20ms[1]。 高保真弱交互类：对大带宽需求较高，典型业务包括：VRFOV视频、VR巨幕影院、AR观影等。例如8KFOV视频需要网络带宽大于100Mbps[1] 低保真强交互类：对低时延需求较高，典型业务包括车载XR业务、AR多人协作等。例如AR多人协助需要端到端网络时延<15ms[1]。 低保真弱交互类：对带宽及时延的需求低于以上三类，典型业务包括： AR在线购物等。 2.2.面向XR业务的关键网络指标 随着XR从现阶段“虚实相连”向后续“虚实共生”演进，数据流从视听觉到视听触觉扩展，图像分辨率从4K向8K演进，用户感受从半沉浸式到完全沉浸式发展，应用场景从室内向室外发展，以及随着业务普及用户数量增加，移动网络将面临速率、时延、容量、移动性等方面挑战。 2.2.1.时延 以云渲染的数智竞技/云游戏业务为例，整个业务端到端的时延为MTP时延，其中可分解为七个部分：动作捕获时延→网络传输时延（上行）→云侧引擎更新图像时延→画面编码时延→网络传输时延（下行）→头显终端解码时延→画面上屏渲染显示时延。 图3端到端时延分解图 理论上，为保障XR用户体验良好、不出现眩晕等症状，需要运动响应时延 （MotiontoPhotons,MTP）约为20ms，目前云渲染架构难以满足，为降低MTP时延的要求，通过异步时间扭曲（AsynchronousTimewrp,ATW）等技术，可将时延要求放宽至70ms左右。根据实际测试结果，当强交互游戏MTP平均时延 在80ms以内、弱交互游戏平均MTP时延在94ms以内时，基本可满足用户体验需求。在分段时延分析中，业务平台渲染及编码时延、网络传输时延均有可进一步优化的空间。 2.2.2.速率 XR业务码率由分辨率、帧率以及编码压缩效率决定，业务所需网络传输平均速率一般会略高于业务码率，实际测试也证实这一现象。此外，测试发现业务到达呈现Burst特征，瞬时速率需求较高。考虑时延约束及帧大小波动，10ms帧时延约束下网络下行保障带宽约为业务码率的2~3倍。 2.2.3.容量 3GPP仿真中，从业务码率和时延约束两方面计算，100MHz单小区可保障的VR业务用户最多可达10个以上[5]。实测单载波（100MHz）下云视频最多可容纳并发10~12个用户并发，强交互类VR游戏可支持XR用户并发数量小于仿真值。 2.2.4.移动性 XR业务对于切换时延敏感度较高，室内大空间XR数智竞技业务，以及未来AR业务有着较强的移动性需求。外场测试结果显示在部分5G网络小区切换点位MTP时延增大，主观体验有花屏、卡顿等现象。 2.3.当前面临的主要问题及挑战 2.3.1.网业如何协同 目前网络对XR业务所产生的多模态数据流暂时无法进行业务类型或者业务特征感知，同时无法感知业务层不同数据流的重要性差异，因此仅为其提供一种类似于管道的通用会话承载连接，例如XR下行音视频流都会与其他一般类型的业务共同由默认QoSflow流来承载，在带宽保障、时延保障上都无法使用差异化的服务保障。 2.3.2.连接如何增强 基于2.2节中对XR业务的性能需求摸测，面向大带宽高实时类业务的连接可从以下方面进行增强 帧级速率如何保障：由于XR游戏业务呈现瞬时到达特征，受到帧时延约束及帧峰均比影响，对瞬时帧级速率远高于平均码率，需研究针对业务不同重要性数据流进行差异化保障的方法 时延仍需优化：测试得到网络传输、云平台渲染及编码时延在MTP时延中占比较大，有进一步优化的空间 多用户容量仍待提升：多用户容量远低于理论预期，需从多流协同、完整性传输等方面研究容量提升方案 移动性仍需增强：切换时延影响XR业务体验，主观体验有花屏、黑边、卡顿等，需从降低切换时延、基于帧边界触发切换等方面优化切换时延 2.3.3.用户体验如何评测 音视频业务业界已有成熟的质量评价体系，但针对XR业务的用户体验，业界尚未形成客观、量化的评价方法。并且，不同头显、云平台、网络厂家的指标统计方法存在差异，难以横向对比。因此，迫切需要建立完善的评估标准和指标体系，定义通信网络指标与影响业务体验指标的映射模型和评估标准，统一XR业务的帧级时延、速率、时延抖动等指标的指标定义、数据采集、测量上报和统计方法，用于问题定位定界。 3.XR网业端协同技术体系 3.1.网络感知业务 3.1.1.基于业务特征识别 XR业务在使用基于图像组（Groupofpicture，GoP）编码或者Slice-based编码时，输出的码流分为I流或P流。I流中包含GOP编码的I帧和Slice-based编码的I帧，P流中包含GOP编码的P帧、B帧和Slice-based编码的P帧。 GOP图像组包含一个I帧及多个P帧和B帧，Slice-