2023元宇宙时代超高清视音频技术白皮书V1

元宇宙时代超高清视音频技术白皮书 0 元宇宙时代超高清视音频技术白皮书 （V1.0） 世界超高清视频产业联盟 前言 本文件由UWA联盟中国移动通信集团有限公司组织制订，并负责解释。本文件发布日期：2023年03月29日。 本文件由世界超高清视频产业联盟提出并归口。 本文件归属世界超高清视频产业联盟。任何单位与个人未经联盟书面允许，不得以任何形式转售、复制、修改、抄袭、传播全部或部分内容。 本文件主要起草单位： 中国移动通信集团有限公司、咪咕文化科技有限公司、中国移动通信有限公司研究院、中兴通讯股份有限公司、中国信息通信研究院、腾讯计算机系统有限公司、华为技术有限公司、中国电子技术标准化研究院、工业和信息化部电子第五研究所、深圳思谋信息科技有限公司、凌云光技术股份有限公司、北京全景声信息科技有限公司、广州视源电子科技股份有限公司、北京数码视讯科技股份有限公司、杭州当虹科技股份有限公司、中国移动通信集团终端有限公司、杭州海康威视数字技术股份有限公司、上海交通大学、中央广播电视总台、国家广播电视总局广播电视规划院、中国电信集团有限公司、深圳市奥拓电子股份有限公司、深圳市洲明科技股份有限公司、北京流金岁月传媒科技股份有限公司 本文件主要起草人： 李琳、徐嵩、陈望都、王琦、单华琦、毕蕾、韩建、李康敬、喻炜、杨蕾、郭勐、赵丽丽、黄成、李秋婷、刘耀东、王斌、陈曦、王琼、胡颖、许晓中、刘杉、王志刚、谷晓军、石亚芝、赵晓莺、耿一丹、邱溥业、韦胜钰、蔡佳、赵轶、刘志杰、许舒敏、王虽然、潘兴德、熊伟、杜华、曾义、李淼、张玉兵、王乃洲、魏晔、刘利华、陈家兴、陈左乐、侯睿、殷端、王福河、闫科锋、王子建、陈瑾、石春宇、李丹、李厦、宋利、罗传飞、王勇、王利强、赵丽红、白莹杰、谭胜淋、周凯旋 免责说明： 1，本文件免费使用，仅供参考，不对使用本文件的产品负责。 2，本文件刷新后上传联盟官网，不另行通知。 目录 1.背景及意义5 2.元宇宙时代超高清视音频技术发展需求7 2.1应用场景7 2.2技术新需求11 3.元宇宙时代超高清视音频技术体系7 3.1概览15 3.2内容生成15 3.3编码及网络传输25 3.4交互与呈现33 3.5体验评测38 3.6版权保护40 4.元宇宙时代超高清视音频技术标准化及建议44 4.1标准化需求44 4.2基础通用标准化建议45 4.3内容生成的标准化49 4.4媒体传输与处理标准化51 4.5呈现与交互标准化53 4.6产业应用标准化55 5.总结与展望56 6.附录58 6.1缩略语58 6.2引用60 1.背景及意义 元宇宙概念的核心在于时空建构，其本质就是建构原生于物理时空且与之交融的数字时空[1]。元宇宙是新一代信息技术的融合创新，是技术聚合体、产业聚合体和生态聚合体。元宇宙能够深度融合数字空间和物理世界，有望催生出一批新产品、新模式、新业态，有望创造由数字“比特”与人类“原子”深度融合的新型社会景观。 元宇宙孕育新产业新业态。随着新一代信息技术的迅猛发展，人们的生活生产处在一个现实世界和数字世界日益融合的进程中。2021年以来，元宇宙概念快速升温，包括微软、谷歌、脸书、英伟达、腾讯等全球市值前十科技企业在内的国内外ICT巨头与初创企业纷纷发声。全球元宇宙第一股Roblox自2021年上市当日突破400亿美元市值，全球最大社交网络平台脸书宣布更名为Meta，表示未来五年力争由传统社交平台转变为元宇宙公司，并承载数千亿美元的数字商务，为数百万创作者和开发者提供就业机会。微软表示元宇宙使计算嵌入到现实世界中，为数字空间带来真实临场感。英伟达发布工业元宇宙平台Omniverse，旨在为影视、工业等行业应用提供模拟仿真与协同开发环境。 各国政府开始布局元宇宙领域。美国从特定局部推动元宇宙概念下关键领域创新发展，美国国会通过 《2021年美国创新和竞争法案》，旨在扩大政府在科研中作用。该法案提出在五年内为美国国家科学基金会提供1000亿美元。其中，作为元宇宙主要支撑的“先进的通信和沉浸式技术”位列十大关键技术领域之一。韩国从技术创新、经济发展、社会民生全局开展元宇宙顶层设计，明确提出“元宇宙”发展的规划举措。2020年底韩国总理在国家政策审查会议中宣布“沉浸式经济发展战略”。2021年11月，韩国首尔市政府发布了《元宇宙首尔五年计划》，宣布从2022年起分三个阶段在经济、文化、旅游、教育、信访等市政府所有业务领域打造元宇宙行政服务生态。2022年1月韩国政府公布《元宇宙新产业领先战略》，以“数字新大陆，迈向元宇宙的韩国”为愿景口号，提出截止到2026年，元宇宙产业规模全球前五，专业人才规模不少于四万，50亿韩元以上元宇宙企业数量不低于220家，并围绕生产生活诸多领域挖掘落地50个“元宇宙+”创新应用场景。 2022年工业和信息化部等五部门联合发布《虚拟现实与行业应用融合发展行动计划（2022-2026年）》。《行动计划》分别从推进关键技术融合创新、提升全产业链条供给能力、加速多行业多场景应用落地、加强产业公共服务平台建设、构建融合应用标准体系等方面提出了五大重点任务，旨在推动虚拟现实等沉浸式技术与实体经济的深度融合，为我国经济社会发展提供新动能。此外，我国各地政府也于2021年开始布局元宇宙赛道。 2021年8月北京市启动元宇宙总体布局，考虑以互联网3.0指代元宇宙，并将其视为继互联网、移动互联网后下一代互联网的新业态，后续将开展元宇宙底层技术攻关。2022年7月，上海市政府印发《培育“元宇宙”新赛道行动方案》，成为我国首份较为系统具体的元宇宙专项政策，文件提出到2025年上海元宇宙产业规模 达3500亿元。此外，自2021年至今，合肥、武汉、杭州、成都、青岛、广州等地政府也相继发布政策，都主要从新一代互联网、数字经济、未来产业等视角编制元宇宙发展政策。 元宇宙将触发超高清视音频用户体验显著提升与技术产业持续演进。当前大众对美好生活的进阶需求对数字内容的体验方式提出了新要求，超高清视音频的高分辨率、高动态范围、高帧率、高色域等视听质量维度的常规迭代难以带来用户体验的显著提升。回顾移动互联网时代超高清创新业态的影响范围，如长视频带给用户超高清画质体验，而画质提升带动了芯片、屏幕、编解码标准与拍摄器材等产业链迭代升级。短视频呈现用户全年龄、使用全时段、内容全题材的显著态势，且数字内容生产方式由以往专业机构产出（PGC）向大众用户产出（UGC）、以及近期的人工智能内容生成（AIGC）的方式变革。在元宇宙概念下，超高清数字内容既需要做到让大众有颠覆性体验，又要能引领生活方式变革与产业结构创新。相比大众隔着手机、个人电脑上的2D屏幕点击浏览互联网，元宇宙中人们将“活”在互联时空里，学习、办公、娱乐、健身、购物、社交等人人交互、探索世界的共同体验发生在数字时空。现实时空与数字时空将不再彼此分割，在虚实融合的互联时空下，未来超高清视音频生态的构建有赖于传统视音频向沉浸式、交互性与多维化方向演进。 2.元宇宙时代超高清视音频技术发展需求 时间和空间是人类实践活动的基本维度。信息技术的发展使人类具备日益强大的时空建构能力，可以通过数字孪生等技术建构复刻现实世界（物理时空）的数字世界（数字时空）[1]。目前，元宇宙的技术正在快速发展，许多公司和组织都在积极投入研发和创新。元宇宙预计将会在零售、泛娱乐、文旅、教育、政务、工业等领域带来革命性的变化和创新，成为未来数字经济的一个核心领域。 2.1应用场景 1.零售场景 在元宇宙时代的线上购物场景，通过超高清视音频技术呈现沉浸式的三维购物空间，升级顾客线上购物的消费体验。比如，创造线上数字购物空间，在线上直接模拟体验穿衣换衣服，用户通过交互式游戏化的体验完成消费。在线下购物场景，通过增强现实技术，提供数字化的商品360度悬浮展示，以及通过数字人营业员提供导购、导览服务，给用户提供特色创意的数字购物体验。比如，中国移动推出的5G+AR智慧营业厅和咪咕数字咖啡馆。 图1中国移动5GXR营业厅 2.泛娱乐场景 元宇宙时代，在体育和演艺直播场景，开拓了新的沉浸体验和交互方式。传统直播或演唱会中，粉丝的观看视觉有限，互动方式单一。而元宇宙中的演唱会则通过超高清技术呈现更有沉浸感的现场，并可以提供更灵活的游戏体验现场互动。例如咪咕在卡塔尔世界杯推出的5G+算力网络的分布式实时渲染元宇宙比特空间 “星际广场”，用户可以获得专属比特数智人身份，和其他比特数智人一起观赛、观影、观演等各种活动。咪咕还为“听不到的你”推出智能贴心的智能字幕和数字人手语解说，提供无障碍观赛体验。 图2星际广场和数字人手语主播 在游戏场景，元宇宙将现实生活的真实感带入游戏中，玩家可以有更沉浸的视听感受，通过穿戴设备实现触觉反馈，可以获得接近现实、超越现实的体验；此外在虚拟游戏中可以拥有类似现实世界实物资产的虚拟资产。元宇宙场景游戏的发展方向之一是降低硬件设备的门槛，进一步加快游戏云化，并且对超高清技术在沉浸式体验、实时互动等方面提出更高的要求。 图3咪咕上线多款世界杯云游戏 在运动健身场景，元宇宙相关技术把现实的健身融入到虚拟世界。元宇宙健身房支持用户随时随地利用碎片化时间健身，突破空间限制“面对面”与教练在线互动，用户可以使用虚拟身份加入虚拟社群，与健身爱好者们竞赛和交流。如咪咕善跑正在通过结合虚拟现实技术以虚拟骑行的形式打造XR骑行平台。基于虚拟现实的数智竞技场景，为运动健身提供更多沉浸的对抗性体验，VR电竞已获奥委会、亚运会等认可。 图4咪咕XR骑行和数智竞技 3.文旅场景 元宇宙的文旅场景，为游客重构时空体验，让文化潮起来。线上旅游交互效果升级，增加沉浸感和参与感，游客只需要戴上虚拟现实设备便能够来一场“说走就走的旅行“。线下旅游通过增强现实技术，可以拓展时间、空间的体验，打造炫彩实景、梦幻虚拟、跨界互动。文旅景区可以利用AR、VR、渲染等技术加持，观众可以真正进入到XR奇妙空间，第一视角沉浸感受璀璨的中国文化和美景。 图5厦门98投洽会AR夜景秀和鼓浪屿AR文化导览 4.教育场景 在元宇宙的教育场景，教学不再受限于时空条件和物理设备，且各种创意课堂能够被激发，教学效果可以获得质的提升。如数学课堂中的图形和公式能够在几何空间中不断组合和变化，科学课堂中宇宙的产生和发展过程就在眼前模拟重现，历史课堂中学生甚至能够和历史人物互动。元宇宙的教育还能激发学生的创造性，突破现实约束展开各种创新实验等。 5.政务场景 在元宇宙的办公场景，传统的远程办公缺少实时互动、沉浸感不足。而元宇宙技术能够使得虚拟办公以“面对面”互动的方式进行。元宇宙提升了办公的临场感，让我们的互动方式更加自然、真实。未来，用户还可以通过3D化远程互动形式，360度聊天，并进行更丰富的肢体和触感交流。 此外在学术、产业会议、活动等场景，通过元宇宙技术突破时空限制，实现线上线下联动的互动体验。元宇宙集会通过AR、VR技术，线上和线下的参与者可以选择以虚拟形象、真实影像出现，线上、线下齐聚一堂，互相交流，提升会议的参与感。目前，不少学术讲座论坛、毕业典礼、展会、发布会等集会都以元宇宙的方式举行。比如奥拓电子推出的基于云渲染的沉浸式数字活动平台，为参会人提供沉浸式会场体验。 图6奥拓电子基于云渲染的沉浸式数字活动平台 6.工业场景 元宇宙工业生产场景，基于数字孪生技术，元宇宙生产车间可提升工厂设计和生产的精度、速度，并可实现节省成本和提高效率。元宇宙为工业生产打破时空的限制，促进生产研发涉及专家的远程协同，在虚拟空间中进行模拟测试，提前验证落地可能性，降低试错成本和风险。 此外在数字金融、数字农业等很多场景有很多应用，而且随着元宇宙的发展，新的应用场景还会不断拓展。这些场景对超高清视音频技术都提出了新的技术要求。 2.2技术新需求 从元宇宙应用场景来看，为满足视觉、听觉以及触觉方面的体验要求，对超高清视音频技术在沉浸式体验、实时多维互动、高效内容生产和用户大规模在线能力