定义 XR 体验 ： 实现沉浸式生态系统

定义XR经验：实现包容性生 态系统 ® EricAbbruzzese:研究总监 CONTENTS ..........................................................1 ..........................................................3 企业用例 Examples4 消费者使用案例示例5 ..........................................................5 其他标准和 XR支持者7 .............................................................8 什么是XR和隐含内容？ 扩展现实（XR）是一个广泛的术语，包含一系列增强现实（AR），虚拟现实（VR）和混合现实（MR）体验，可将音频，视频，触觉和动觉数据捕获到一个场景表示中，以无缝地融合虚拟和物理世界中的交互。 用于无缝数据可视化的显示器，VR完全用虚拟代替物理，或者介于两者之间的MR，XR越来越多地在市场上被采用。 凭借头戴式显示器（HMD）中新颖但具有挑战性的外形，XR可以 根据用例和目标用户很难实现。然而，今天，编码技术的新效率，以及支持高质量和逼真的媒体流和交互式服务的新媒体类型和功能，正在与增强的网络和设备处理能力融合，以实现一系列突破性的XR身临其境的体验。这使他们能够避开一些本地硬件挑战。支持XR的功能在改变消费者体验、服务和整个垂直行业方面具有巨大潜力，标准化是迈向成功的重要一步。 本文概述了定义XR体验的基础技术和指标，介绍了当前用于实现XR的标准研究项目和研究资源，并强调了一些挑战，这些挑战将定义XR沉浸式体验的下一阶段创新和标准化。 设备和经验 结合物理和数字世界的应用并不新鲜，但是XR硬件、软件和服务支持这些应用的状态已经达到了能力与缺点的转折点。价格一直是新技术采用的障碍，虽然价格仍有下降的空间，但硬件平均售价(ASP)一直呈下降趋势，1000美元以下甚至500美元以下的竞争日益激烈。如今，针对XR服务和应用程序的活跃开发人员和内容屋的数量正在稳步增加。 AR RealWear导航员500 MR MicrosoftHoloLens2 XR设备示例 VR AppleVisionPro 独立设备包含在设备上处理和显示VR内容所需的所有硬件,无需有线或无线连接到另一个设备。系留VR使用无线或有线系链 主机设备，通常可以进行计算，从而实现更高的性能，同时保持可接受的外形。基于移动的VR曾经是最大的细 分市场，拥有GoogleDaydream和SamsungGear等设备，但相对于独立和系留的细分市场，该细分市场现在很小。 尽管基于移动的VR在整个市场中只占相对较小的一部分，但基于移动的VR提供的好处太大了，不容忽视。连接设备的任何地方的互联网连接是可用的能力打开大门，以不可估量的新的使用情况。基于移动的VR平台通常很好理解，包括高度支持的硬件和连接选项，并拥有完善的开发社区。即便如此，在未来几年内，独立VR可能仍将是主导的VR设备类型。 140 120 100 (百万) 80 60 40 20 - 按外形规格划分的XR出货量 20232024202520262027 VR独立VR移动VR系留AR单目AR双目 独立细分市场的成功主要归功于可负担性（MetaQest3的价格为500美元，上一代MetaQest2的价格为300美元）和易用性。高端设备有一些可负担性的例外，但易用性和直观的用户体验仍然存在。对于独立VR来说，可负担性并不是一个普遍的事实，像Apple的VisioPro这样的高端设备旨在提供一流的体验。XR计算有一个平衡行为；易用性伴随着电池寿命、用户舒适度和完全性能能力的成本。从边缘流式传输内容可以减轻一些或所有这些成本，实现更低的成本和更符合人体工程学的HMD，但它在高数据速率和低延迟要求方面存在自己的障碍。 如今，企业市场正在与AR一起显着加速VR的采用，而消费市场正在以可承受的价格等待具有竞争力的智能眼镜。智能眼镜已被证明难以以可接受的成本开发可接受的硬件封装;透明显示质量、电池寿命和设计/形状因数已被证明是重大挑战。通过前置摄像头实时传输视频的VR耳机目前正在填补这一空白，对于真正的透明显示器也有类似的结果，尽管牺牲了直通质量和用户意识。 为什么我们需要XR? 为了被认为是必要的，XR必须显示出客观和无可辩驳的价值，超过任何潜在的缺点，同时也要超过最低水平的用户体验，以支持目标工作流程-用户舒适度，电池寿命和设备功能必须与用例需求保持一致。在企业领域，已经通过大量案例研究和概念验证（PoC）实现了这一点，现在可以扩展到更多的用户，设备和用例。 企业率先采用AR智能眼镜，而消费者率先采用VR。这主要是由垂直领域的有价值的用例决定的；企业从免提设备的远程协助，工作指导和培训中看到了巨大的价值。VR为视频和游戏内容提供了完全独特的体验，并在该领域继续稳步增长。 员工支持是企业和XR的关键。在COVID-19封锁和向混合劳动力发展的刺激下，公司已经认识到，在封锁解除后，得到良好支持的混合劳动力的好处仍然存在。许多企业XR用例承诺两个主要好处：效率和成本降低。远程协助可以节省昂贵的专家前往维护站点的费用，同时还可以减少运营停机时间。事实证明，XR培训比传统培训更有效，对XR培训的用户具有更长的保留和召回时间，同时通常比现有培训协议花费更少的时间。 远程专业知识 避免了巨大的停机 成本 消除差旅费用 装配 通过复杂的机械降低出 错率和效率 集成验证可以加快完 成速度并提高首次准确性 培训 增加保留和召回 实时，视觉指导可能 在现场 现场服务 提高首次修复率并减少整 体停机时间 免提能力提高了工人的能 力和安全性 企业用例示例 虽然XR的好处很明显，但它并不总是一条简单的部署途径。与智能手机和平板电脑等已经实施的设备相比，XRHMD的成本可能很高。这些设备还需要独特的内容才能最具影响力。利用三维(3D)资产 在XR中，如果不可用，则需要创建，即使它们可用，它们也通常需要额外的优化和开发时间才能正确部署到耳机。当与其他企业系统集成时，例如物联网（IoT），产品生命周期管理（PLM），客户关系管理（CRM），云等 ，XR也是最好的。连接性尤其值得关注，因为完全连接的XR解决方案具有巨大的价值。Wi-Fi是无处不在的标准 ，但对于Wi-Fi不足或不可用的XR应用程序，越来越多地探索蜂窝连接。 市场范围的标准可以帮助缓解这些痛点，并为采用者创建更具凝聚力的XR系统。系统集成商(SI)和平台合作伙伴也很快精通XR集成和简化部署-结合更广泛的标准支持，XR设备可以像其他更熟悉的设备一样简单部署 。 消费者用例示例 对于消费者来说，对话不是围绕整合和投资回报率(ROI)，而是更多关于交付到可获得的设备的有价值的内容。与传统游戏相比，VR游戏最容易理解-VR的沉浸感和交互性超越了传统游戏的任何可能。在游戏之外，内容差异体积视频-一种3D视频，可以在视频中进行空间移动-对于从社交媒体和通信到高预算电影和电视的其他内容 类型，承诺与VR游戏具有类似的沉浸感。 除了纯粹的娱乐之外，教育对于XR的使用具有令人难以置信的潜力。在交互和可视化提供显著学习和保留改进的情况下，XR非常适合。提供可能在教室中看到的多用户内容本身就是一个独特的内容挑战，同时预算限制和根深蒂固的内容来源会减缓潜在的采用。简化这些内容类型的创建和交付对于市场的所有部分都是一个福音。以实现灵活性的方式支持这些用例。 结合连接性和XR硬件。移动性是某些XR用例的重点，尤其是AR智能眼镜，利用现有强大的蜂窝基础架构是必须的。5G连接，无论是通过用于独立设备的板载蜂窝芯片，还是通过与智能手机等蜂窝连接设备的连接 ，都使用户能够在移动中保持连接。更多的移动用例需要舒适轻巧的HMD，智能眼镜再次很好地使用。 标准化的机会 随着新的XR硬件、软件和服务源源不断地快速投放市场，很容易看到碎片化蔓延。由于需要跨设备和平台的互操作性（以确保健康的用户群和增长基础），标准在XR增长和最终潜力中发挥着关键作用。 在传统媒体领域，电影专家组（MPEG）和第三代合作伙伴计划（3GPP）是内容交付标准中最突出的两个名称。移动网络在全球数据使用方面占主导地位，智能手机负责大量的总数据使用，包括视频。 与二维(2D)内容相比,XR内容的捕获、创建和分发都存在独特的挑战。例如,具有交互式内容的流式VR用例与常规视频显著不同。传统的流视频使用缓冲器来允许在不中断内容的情况下改变网络性能和比特率,但是XR交互禁止该缓冲器(可能来自多个传感器),这意味着网络的上行链路和下行链路可靠性变得至关重要。VR耳机的性质要求高分辨率、高帧率、立体或多视图内容以及空间音频-将这些与低延迟和高可靠性的需求相结合，网络需求变得显著 。对于带有缓冲区的4K视频，比特率可能比每秒25兆比特（Mbps）更接近100Mbps，所有直播和低延迟。压缩和简化的交付协议可以提供极大的帮助，标准也可以实现跨设备的互操作性和类似体验。 MPEG在视频领域的使用正在发展并与XR一起使用一系列标准。首先是基于视觉体积视频的编码（V3C）标准 ，包括MPEG沉浸式视频（MIV）和基于视频的点云压缩（V-PCC）。该标准为编码和流式传输体积内容设置了定义，预计将 XR在捕获、处理和交付方面最具挑战性的内容类型之一。这些标准在传统的2D视频编解码器之上提供了3D/沉浸式处理层，这意味着它们可以从现有的硬件实现的编解码器中受益，以快速跟踪其部署，例如高级视频编码（AVC ）和高效视频编码（HEVC），并将在未来获得AV1和VVC的额外压缩增益。MPEG在其他XR领域也很活跃，具有动态网格编码，触觉和场景描述功能。MPEG视频解码接口(VDI)支持硬件解码器的多个实例，这是沉浸式编解码器和内容的福音。 在2023年增强世博会(AWE)上，IterDigital与飞利浦合作，展示了V3C沉浸式视频解码器平台的首次实现，简化了XR内容的内容创建管道。为了完成这项工作，需要结合体积物体特有的点云压缩（V-PCC），MIV和飞利浦的6自由度（6DoF）熟练程度。这方面的用例是多种多样的，飞利浦展示了实时体积的远程呈现和体育内容。 IterDigital是无线通信和计算技术的领先开发商。其大部分技术出现在全球5G设备、网络和服务中，并基于3GPP等标准开发组织的工作。3GPP工作组(WG)中正在进行大量的活动，重点是如何增强5G系统以更好地支持XR流量。大多数早期的增强功能将集中在5G网络如何变得更加“XR感知”，并利用这种对XR流量的感知。 例如,3GPP标准的版本18中的增强将包括增加网络应用程序接口(API),其允许XR应用服务器向网络提供关于XR数据流的信息。通过向网络提供诸如数据流的格式、延迟要求以及数据流之间的关系之类的信息,网络可以做出关于如何对携带XR业务的分组进行优先级排序的更智能的决策。了解如何相对于通过5G网络的其他流量对XR流量进行优先级排序或调度是确保保持用户体验质量的关键。 众所周知,XR业务通常被表征为“突发性”。例如，用于构建视频帧的数据包通常以突发形式发送，并以众所周知的周期性发送。每个突发通常表示构建一段应用程序数据所需的数据（e。Procedre，视频帧），因此单个突发内的数据包之间也存在很强的依赖性。3GPP正在利用网络API来允许应用服务器向网络提供检测这些数据突发所需的信息。在3GPP的标准中,这些数据突发被称为“PDU集合”。网络检测PDU集的能力是使5G网络更加“XR感知”的关键推动因素。." 5G-Advanced引入了对无线电协议中的XR流量要求的认识，以及资源分配技术，其中每个数据包对最终用户体验的相对重要性被认