2023年中国元宇宙关键技术发展洞察（二）：沉浸式计算技术（摘要版）

摘要 智能编码技术：人工智能赋能传统编码，面向人眼视觉和机器视觉 智能编解码是指同时面向人眼视觉和机器视觉，运用神经网络等人工智能技术，改善甚至重构现有视频编码框架，实现智能高效编码以及视频信息的高效处理，主要针对视频的感知、分析和理解 传统视频编码技术持续迭代，但仍旧难以满足更高清、更高效和更智能的编码需求。人工智能持续赋能传统视频编码，推动实现多维度智能视频增强、多目标编码能力兼容，AI算法+智能编码专用芯片为一体的异构计算方案成厂商发力重点 实时云渲染技术：实时性和交互性的云端渲染技术 实时云渲染是指在云服务器中进行资源的分布式存储、动态分配和模型场景的实时渲染，聚焦面向云原生的渲染优化技术和云端渲染内容的音视频数据高实时高质量调度算法 GPU云服务器能够提供GPU算力的弹性计算服务，根据选购CPU、内存及显存不同，产品价格区间跨度较大，但各厂商间价格差距不明显。云厂商一方面向云渲染平台提供IaaS服务，另一方面基于云计算能力布局实时云渲染产品。云渲染利用云端GPU算力池，弹性灵活调度资源，降本增效；同时，分布式渲染分发，多渲染节点同步工作，缩短渲染周期，大幅提升用户工作效率 空间计算技术：构建数字孪生世界 空间计算技术是构建元宇宙空间并实现与现实世界自由切换、相互融合的关键技术。通过空间计算可以实现人、物、机器和虚拟空间的无缝衔接，构建数字孪生体，其核心支撑技术包括三维重建、空间感知、用户感知和空间数据管理 基于视觉的三维重建成为技术主流，人工智能持续赋能三维重建，包括传统算法引入深度学习进行改进、传统三维重建算法与深度学习重建融合应用、模仿动物视觉并直接利用深度学习算法重建。SLMA技术目前实践中应用效果受到传感器精准度、算法复杂度、算力水平等方面限制。为突破单一架构的技术瓶颈，多元融合算法将是未来主流发展路线。 沉浸式计算政策背景 虚拟现实与行业应用融合发展行动计划（2022-2026年） 工业和信息化部教育部文化和旅游部国家广播电视总局国家体育总局联合印发 到2026年，三维化、虚实融合沉浸影音关键技术重点突破，新一代适人化虚拟现实终端产品不断丰富，产业生态进一步完善，虚拟现实在经济社会重要行业领域实现规模化应用，形成若干具有较强国际竞争力的骨干企业和产业集群，打造技术、产品、服务和应用共同繁荣的产业发展格局。 二、重点任务 （二）提升全产业链条供给能力 全面提升虚拟现实关键器件、终端外设、业务运营平台、内容生产工具、专用信息基础设施的产业化供给能力。研发高性能虚拟现实专用处理芯片、近眼显示等关键器件，促进一体式、分体式等多样化终端产品发展，提升终端产品的舒适度、易用性与安全性。加大对内容生产工具开发的投入力度，提高优质内容供给水平。 专栏2：全产业链条供给提升工程 专用信息基础设施。面向视频内容、图形渲染及空间计算等虚拟现实特色业务需求，发展融合云计算、边缘计算、沉浸式计算等支撑虚拟现实的多节点算力信息基础设施，实现云网边端的高效安全协同 保险 教育场景 零售场景 超高清视频的六维技术 超高数据量和超大高带宽需求 元宇宙时代超高清视频市场应用需求广泛，为了应对高分辨率和高码率带来的超高数据量和超大带宽需求，编码技术追求更高效的压缩效率，对超高清视频的编码技术提出全新的挑战。 超高清视频驱动元宇宙场景建设，人工智能、虚拟现实技术与超高清视频结合，打开元宇宙应用市场，覆盖零售、泛娱乐、文旅、教育和工业等应用场景。但同时超高清视频高分辨率、高帧率、高色深、宽色域、高动态范围和三维声等六维技术效果带来超高数据量和超大带宽需求，从720P 30fps到8k 60fps，信息量增加72倍，意味着更高的码率、更多的网络流量和存储空间。如何在实现高清晰视频图像传输及显示的情况下，实现高效的视频压缩效率，同时兼顾高清画质和超低编解码及传输延迟，成为视频编解码的发展优化重点。 智能编码定义：人工智能赋能传统编码，面向人眼视觉和机器视觉 智能编解码是指同时面向人眼视觉和机器视觉，运用神经网络等人工智能技术，改善甚至重构现有视频编码框架，实现智能高效编码以及视频信息的高效处理，主要针对视频的感知、分析和理解 智能编码技术定义 智能编码 智能编码技术， 是指同时面向人眼视觉和机器视觉，运用神经网络等人工智能技术，改善甚至重构现有视频编码框架，实现智能高效编码 智能编码技术方案（1/2）：AI辅助编码，智能编码专用芯片打造异构计算方案 传统视频编码技术持续迭代，但仍旧难以满足更高清、更高效和更智能的编码需求。人工智能持续赋能传统视频编码，推动实现多维度智能视频增强、多目标编码能力兼容，AI算法+智能编码专用芯片为一体的异构计算方案成厂商发力重点 传统编码技术标准发展情况 商业化落地实践 预处理优化：视频降噪、背景替换、内容审核、场景检测 ROI感兴趣区域编码 逆色调映射 超分辨率 码率自适应算法优化 传统视频编码技术持续迭代，但仍旧难以满足更高清、更高效和更智能的编码需求。人工智能持续赋能传统视频编码，推动实现多维度智能视频增强、多目标编码能力兼容，AI算法+智能编码专用芯片为一体的异构计算方案成厂商发力重点。 编码标准平均每十年升级一代，仅带来50%压缩率的提升；但视频帧率和分辨率从从720P 30fps到8k 60fps，视频信息量将增加72倍。编码标准升级速度远低于视频信息量需求速度。 AI+智能编码芯片构建的异构计算方案在4K/8K分辨率和低时延场景下成本优势明显，头部厂商先后布局，如腾讯云发布编解码芯片“沧海”（2021年），压缩率高于市面标品35%以上； 快手成功流片智能视频处理芯片StreamLake-200（2022年），集成快手领先的视频编解码、图像处理、AI推理、内容自适应编码等关键技术，相比x265 medium节省约30%码率。 智能编码市场主体：综合型、专业型和垂直型 智能编码技术市场参与者多元化，综合型厂商和专业性厂商通常以实时音视频或超高清音视频解决方案的形式提供智能编码技术服务，主要面向应用开发者；垂直型厂商为满足自身业务需求为导向布局智能编码技术，以应用软件形式提供智能编码技术服务 智能编码市场主体分类 业务逻辑：通常以SaaS产品的形式，为特定行业领域提供配备智能编码技术的应用产品。并凭借业务积累向PaaS层拓展，如快手推出视频云服务StreamLake。 业务逻辑：通常以PaaS、PaaS+SaaS产品为核心，帮助开发者在应用内构建音视频接解决方案。 业务逻辑：通常以IaaS+PaaS产品的形式提供智能编码技术服务。 完整版登录www.leadleo.com 竞争优势：利用已有的IaaS网络通信基础资源，资源成本低。同时，拥有海量客户、丰富的技术沉淀和强有力的销售渠道，业务线协同效果突出。 搜索《2023年中国元宇宙关键技术发展洞察(二) :沉浸式计算技术（独占版）》 竞争优势：业务专注度高，根据应用场景和需求提供定制化方案，音视频技术体系成熟。 竞争优势：应用场景的业务理解和把控能力强，能够根据行业需求提供针对性技术和一站式服务，帮助客户快速部署网络。 竞争逻辑 产品服务：根据细分场景，向用户提供定制化的API/SDK服务包，开发者进行简单二次开发即可使用。 产品服务：以API/SDK的方式向客户提供基础版本的标准化产品服务，主要面向应用开发者。 产品服务：以软件的应用形式向客户提供智能编码集成服务，直接面向终端用户，无需进行二次开发。 保险定义 高性能、灵活弹性、成本优势 元宇宙应用对交互性和实时性提出较高要求，实时云渲染具有突出价格优势，通过云端运算、资源共享、优化算法、数据分析等方式，降低3D渲染应用成本和进入门槛。 IT 高性能计算支持 弹性扩展 快速数据传输 支持云上和云下之间的快速导入和导出数据，对于大规模数据的传输和备份非常重要 多层安全保护 通常包括多层的安全保护机制，以确保数据的机密性和可用性。包括数据加密、身份认证、访问控制等安全功能 定位于高性能计算（HPC）领域，可以满足对计算性能有极高要求的应用，如科学研究、工程模拟等。提供多种计算实例规格，满足不同HPC应用的性能需求 元宇宙应用对交互性和实时性有较高要求，数据显示，在仿真应用中，延时控制在100毫秒以内，才能够有较好的声画体验感。但目前GPU算力暂无法支撑，如Meta的Horizon Worlds最多可容纳20个低模型用户去，运行VR Chat的简单模型和四五十人的小场景；英伟达旗舰款GPU RTX3080最多也只能维持40帧，现有GPU算力需提升至百万倍水平方可满足实时交互需求。 云服务器、存储和网络资源都支持弹性扩展，用户可根据应用需求随时扩展或缩小资源规模，提高资源的利用效率 GPU服务器价格对比（以阿里云为例） GPU云服务器 GPU CPU内存 租用费用 GPU服务器购买价格 本地实时云渲染主要依靠本地硬件设备（GPU服务器）实现，场景越大、渲染画面效果越好，对GPU的性能要求越高。云端实时渲染则通过音视频流方式传输数据需要达到无延迟水平。本地实时渲染GPU服务器算力成本投入高昂，而实时云渲染利用灵活弹性的高性能服务器，实现资源共享，提升运算效率并降低3D渲染的应用门槛。 gn6v gn6i gn6i gn6i gn6i gn7e 16G显存V100计算卡16G显存T4计算卡16G显存T4计算卡16G显存T4计算卡16G显存T4计算卡80G显存A100计算卡 8核32G 4核15G 8核31G 16核62G 24核93G 16核125G 46,097.40元/年14,439.00元/年17,311.80元/年20,222.40元/年20,222.40元/年170,533.80元/年 百万/台- 千万/台不等 实时云渲染定义：实时性和交互性的云端渲染技术 实时云渲染是指在云服务器中进行资源的分布式存储、动态分配和模型场景的实时渲染，聚焦面向云原生的渲染优化技术和云端渲染内容的音视频数据高实时高质量调度算法 实时云渲染技术定义 实时云渲 实时云渲染， 指在云服务器中进行资源的分布式存储、动态分配和模型场景的实时渲染。实时云渲染能够把单帧图像的渲染分布多个CPU 保险定义 control Cache control Cache control Cache control Cache 浮点性能 代表显卡的浮点计算能力 ALU ALU ALU ALU GPU云服务器能够提供GPU算力的弹性计算服务，根据选购CPU、内存及显存不同，产品价格区间跨度较大，但各厂商间价格差距不明显。 IT ALU ALU ALU ALU 决定显存临时存储数据的空间 显存大小 关键参数 ALU ALU ALU ALU 显存在一个时钟周期内所能传送数据的位数 GPU云服务器是提供GPU算力的弹性计算服务，具有超强的并行计算能力，服务于深度学习训练、科学计算、图形图像处理、视频编解码等场景。GPU渲染利用图形处理器的并行计算能力，能够处理大量数据并快速执行重复计算，在实时图形和复杂的3D场景中表现出色。 ALU ALU ALU ALU 显存位宽 显示芯片与显存之间的数据传输速率，字节/秒 DRAM 显存带宽 应用 在GPU云服务器费用方面，阿里云、天翼云、腾讯云和华为云都提供包月/包年计费和按量计费两种收费方式，并根据不同规格服务器采取不同收费价格，以阿里云为例，搭载同为8核，32GB CPU，规格的G5的GPU云服务器价格为3,360元/月，规格为G6v的GPU云服务器价格为7,620元/月。而不同厂商的相同规格GPU云服务器价格差距不大，以搭载32核，128GB CPU的G5规格GPU云服务器为例 ， 华为云的价格为10,527元/月 ， 天翼云的价格为10,527元/月，上游各厂商间价格