超视频化技术白皮书

!ƒï$%&'() "#$##%& '()*,- 1 !ę 元宇宙作为下一代互联网形态，承载着打通现实世界与虚拟世界的技术使命，已经得到了业界充分的关注。超视频化是应用场景视频化的进一步发展，以超内容、超交互、超链接为主要特点，将为元宇宙的发展提供必要的技术和应用场景的准备。本白皮书介绍了超视频化的概念、关键技术及产业现状，并讨论了超视频化与元宇宙的关系。值此超视频化的变革时代，建议政府、行业组织和企业之间有序协同，推动超视频化生态建设，共同促进行业的繁荣和有序发展。 本白皮书的版权归中国移动所有，未经授权，任何单位或个人不得复制或拷贝本建议之部分或全部内容。 编写单位：中国移动研究院 编写组成员：史家康、郭勐、李阳、杨蕾、喻炜 #% 1.前言2 2.超视频化的概念2 3.超视频化的关键技术3 3.1超内容技术4 3.1.1超高清视频推动视频应用场景的深刻变革5 3.1.2扩展现实（XR）有望成为“下一代计算平台”5 3.1.3全息技术是实现沉浸式内容的重要技术8 3.1.4数字孪生技术是虚实融合的基础和保障10 3.2超交互技术11 3.2.1手势/动作识别11 3.2.2情感计算12 3.2.3空间计算12 3.2.4脑机接口（BCI）13 3.2.5沉浸式感知传感技术14 3.3AI技术14 3.4算力网络14 4.超视频化产业分析15 4.1超视频化产业现状15 4.2超视频化产业图谱17 5.超视频化是元宇宙的准备阶段18 6.总结与展望20 !"#$%........................................................21 &'()..........................................................22 1.前言 2021年7月阿里云视频云全景创新峰会上，阿里云提出了“超视频化时代”的概念景象。10月，Facebook更名为Meta，全力转型元宇宙。受此影响，“元宇宙”作为一个新兴的概念受到了各界的充分关注。超视频化的概念也随之淹没在元宇宙的浩瀚星空中。 元宇宙这一概念把人工智能、扩展现实、数字孪生、区块链、云计算、5G/6G等技术融合在一起，令人无比振奋。但从数据、算法、算力三要素的角度来看，当前的技术水平距离元宇宙的理想状态还有很大的距离。 狂热过后是可贵的冷静，近期IDC发布了《超视频时代视频云演进趋势》白皮书，超视频化的概念再次得到业界关注。 2.超视频化的概念 随着网络带宽和终端性能的提升，视频日益融入日常生活和应用场景，成为承载信息和交流的主要形式，即视频化过程。伴随着视频化过程的深入，以视频作为信息展现和交互形式的泛视频/大视频业务得到了快速发展。 所谓“化”是一个后缀，附着在状义成分的后面构成动词，表示转变成某种性质或状态。视频化，是互联网内容和应用的一种趋势，表示在各种应用场景中，视频成为承载信息和交流的主要形式。 图1超视频化与泛视频、大视频 在这里，还有必要对超高清、大视频和泛视频等概念作一下辨析。超高清是国际电信联盟最新批准的信息显示“4K分辨率(3840×2160像素)”的正式名称，是一个具体的技术概念。而大视频和泛视频泛指与视频相关、以视频为内容承载方式的相关应用领域。 超视频化是应用场景视频化的进一步发展，以超内容、超交互、超链接为主要特点。这意味着视频的内容形式持续演进，交互更加丰富，传播跨越了语言限制，并以AR、VR等途径影响到大众的日常生活。随着5G、云计算、AI的高速发展，当视频化融合了内容与交互的双重演进，主流应用场景普遍具有超高清和沉浸式交互体验时，标志着超视频化时代的到来。 在超视频化时代，视频衍生了更多新形态，形成了以超高清和沉浸式为主要特点的内容形态，即超内容；视频化逐渐演变成以人为中心的交互，承载了多维感官、甚至超越时空的体验，即超交互；视频化让万物皆媒，人与人、人与物、人与自然，感应式链接，产生一种超社交能力和现象，即超链接。 图2互联网内容发展路线 互联网内容的发展，从文字、图像、音频到视频、直播，以及资讯和知识的视频化呈现，乃至全场景内容的视频化，最终演变到以三维化、可交互为主的沉浸式内容形态。 从交互的视角，信息从一个交互对象自然地传递到另一个交互对象，数字将与物理共存并增强。而沉浸式交互，希望释放人的立体视觉、触觉、本体感知等能力，让交互不再局限于二维视觉通道与视觉反馈。 在超视频化时代，内容和交互融合为沉浸式的综合体，现实世界与虚拟世界的物理感知界限将模糊化。 3.超视频化的关键技术 超视频化相关技术包括支撑层面的网络和算力基础设施，使能层面的超内容技术、超交互技术和对视频云底座提供能力加持的AI技术。 图3超视频化的技术体系 3.1超内容技术 超内容是以超高清和沉浸式为主要特点的内容形态。超内容技术包括超高清视频、XR、全息投影、数字孪生等服务于沉浸式内容形态的一系列技术。 图4沉浸式演进路线 3.1.1超高清视频推动视频应用场景的深刻变革 根据《超高清视频标准体系建设指南（2020版）》的定义，超高清视频是具有4K(3840×2160像素)或8K(7680×4320像素)分辨率，符合高帧率、高位深、广色域、高动态范围等技术要求的新一代视频。超高清视频具有更精细的图像细节、更强的信息承载能力和更广泛的应用范围，为消费升级、行业创新、社会治理提供了新工具、新要素、新场景，有力推动各应用领域的深刻变革。 在沉浸式应用场景中，自由视角、360度全景、沉浸式视频等均需要超高清视频技术支撑。超高清视频用户观感提升，场景需求愈加广泛，这也使超高清视频的目标用户由电视观众延伸至互联网等专业领域。 政策利好推动超高清视频产业发展，5G+超高清视频成运营商新赛道，生态建设稳步推进；同时，目前5G+超高清视频应用逐渐落地，新商业模式频出，正逐步步入发展的黄金时期。 超高清视频存在的问题： •内容生产是超高清生产的最短板 •核心技术研发能力不强，关键设备和元器件依赖进口 •5G移动端+家庭千兆光宽普及率在某种程度上决定了超高清的普及 •行业标准体系不完善，端到端超高清评价体系尚不完备 3.1.2扩展现实（XR）有望成为“下一代计算平台” 扩展现实（XR）是一个概括性术语，涵盖增强现实（AR）、虚拟现实（VR）和混合现实（MR）。扩展现实（XR）作为虚拟世界与现实世界的入口技术，被认为最有可能成为“下一代计算平台”。 图5扩展现实XR •AR增强现实：对真实世界物理环境的实时、直接或间接观察，是一个覆盖在现实上的虚拟内容，但不能与环境交互。 •VR虚拟现实：让用户沉浸在一个完全虚拟的环境中。一般来说，VR眼镜屏幕不透明，而AR眼镜使用可以透光的屏幕。 •MR混合现实：本质上MR是更高形态AR，是VR与现实的结合，创造了可 以与现实环境交互的虚拟对象。 •XR扩展现实：XR由高通提出，涵盖了VR、AR和MR等技术，使用者可以根据自己的意愿在各种模式间进行自由切换。 图6XR技术构成 主流XR产品显示方案有如下几种： 1.基于双目视觉的VR/AR方案 1）菲涅尔透镜方案：当前最主流的VR显示方案。用两块屏幕（或一块屏幕的左右两部分）显示两幅稍有不同的图像，经过菲涅尔透镜后到达人眼，经过大脑处理后融合，给人以立体的沉浸感受。以谷歌DaydreamVR、三星GearVR、HTCVive、索尼PlayStationVR以及OculusRift等为代表。 2）柱透镜解决方案：在主流VR产品中已不常见。把待显示图像处理成左右两个视角的不同图像，在显示屏上以一定规律排列，使左右视角对应图像分别进入人眼，经过大脑处理后融合，得到立体体验。 3）以微软Hololens、Atheer为代表的双目视觉AR，基本原理与双目VR相 似。不同的是要保证人眼看到显示器图像的同时能够看到外界环境。 图7基于双目视觉的VR/AR方案示意图 2.基于光场显示技术的VR/AR方案 以MagicLeapOne为代表的VR/AR产品使用的是光场显示技术，其原理是在场景和相机中间放置一个微透镜阵列，每个微透镜均能形成场景不同方位视角的微小图片；当这些微小图片经显示器件加载并再次经过透镜阵列后，便可以恢复记录的场景图像。该方案可以显示动态三维图像，与双目视觉方案相比有更好的运动视差和遮挡效果。 图8光场显示原理示意 3.基于全息光学的VR/AR解决方案： 该方案以Meta（Facebook）的HalfDome2、3、Holo-LC为代表，尚处原型阶段。如图9所示，待显示场景的全息图经驱动装置上传至空间光调制器。当参考光照射空间光调制器时，衍射光场可以经分束镜到达人眼。而外界真实环境则通过分束镜的另一通光方向进入人眼。 基于全息技术的三维显示方案系统紧凑、无串扰和深度反转、不存在机械运动部分，可以提供所有类型的三维视觉感知，不存在辐辏--调焦冲突，具有良好的观看体验，是当前备受认可的VR/AR方案之一。 图9基于全息光学的VR/AR显示方案 目前，云XR产业发展条件基本成熟。在面向适配XR的网络传输领域，我司处于领先水平，用户体验随基础设施的完善将逐步提升。基于全息技术的VR/AR解决方案虽然被认为是较为理想的方案，但提高计算全息图生成速度和扩展显示系统的空间带宽积是当前面临的两大挑战。全息与近眼显示相结合或成技术趋势。 3.1.3全息技术是实现沉浸式内容的重要技术 全息技术是利用光的干涉和衍射原理来记录和再现物体的真实三维图像的技术。利用光的干涉原理，借助参考光，将物光的复振幅以干涉条纹的形式进行记录（干涉记录）和再现（衍射再现）。由于重建的是物体的全部信息，因此被称为“全息术”。 全息技术第一步是干涉记录，即拍摄过程：被摄物体在激光辐照下形成漫射式的物光束；参考光束射到全息底片上，和物光束叠加产生干涉，利用干涉条纹间的反差和间隔将物体光波的全部信息记录下来。记录的底片经过显影、定影等处理程序便成为全息图，或称全息照片。 图10干涉记录 第二步是衍射再现，即成像过程。全息图在相干激光照射下，一张线性记录的正弦型全息图的衍射光波可给出两个象，即原始象和共轭象。再现的图像立体感强，具有真实的视觉效应。全息图的每一部分都记录了物体上各点的光信息，原则上每一部分都能再现原物的整个图像。由于重建的是物体的全部信息，因此被称为“全息术”。 图11衍射再现 如果全息图的记录、重建过程都是通过光敏材料实现，则称为光学全息。如果用数码相机（CCD或CMOS）记录物光波与参考光波的干涉，以二维数据存储全息图，用数字方法再现，则称为数字全息。而计算全息，则是抛开了干涉图的记录过程，直接用计算机计算波前及其干涉图。计算全息可以实现任意物体的全息显示，即使这个物体在现实中并不存在。 真正的全息影像可以不通过过任何介质，从空气中就能显示出来影像，而且观看角度可以随意变换，体验者能够从三维立体的画面之中穿梭自如。但是，目前不通过其他介质直接通过空气呈现的技术还没有出现。我们看到的绝大多数全息技术，是“佩珀尔幻象”或是全息投影技术。 3.1.4数字孪生技术是虚实融合的基础和保障 数字孪生以数字化方式复制一个物理对象，是实际产品或流程的虚拟表示，用于理解和预测对应物的性能特点。使用数字孪生可以在整个产品生命周期中仿真、预测和优化产品与生产系统。数字孪生的基本特征是虚实映射，通过对物理实体构建数字孪生模型，实现物理模型和数字孪生模型的双向映射。在产品生命周期的不同阶段分别为：产品的数字孪生、生产的数字孪生和设备的数字孪生，这涵盖了产品和生产生命周期的所有阶段产生的信息与数据。 数字孪生的核心技术包括三维可视化、数字建模、数字化仿真技术、物联网数据获取和处理技术等。 数字孪生的应用领域： 1）促进数字经济与实体经济融合发展：发挥分析预测、模拟仿真等方面的作用，助力数字产业化、产业数字化。 2）贯通工业