元宇宙技术体系与关键能力探索

元宇宙技术体系与关键能力探索 黄宇红 中国移动研究院 元宇宙是“数字中国”“文化自信”“生态文明”的重要载体 元宇宙作为未来产业的重要领域，是建设“数字中国”，构建“生态文明”，传播“文化自信”，讲好中国故事的重要载体 “数字中国”+ “文化自信”+ “生态文明” 元宇宙 技术迭代加速，人类将开启元宇宙未来世界 顶层设计与关键突破并重 作为产业智库积极参与国家政策制定，打造“三层七要素”全栈技术架构，布局元宇宙基座，并实现关键突破 元宇宙国家政策制定元宇宙技术体系布局关键突破 《元宇宙产业创新发展三年行动计划(2023—2025年)》实现关键核心技术实突破，形成全球领先的元宇宙产业生态体系 业内首推“三层七要素”全站技术架构，打造面向元宇宙的新型基础设施，做元宇宙奠基者 能力、应用、生态等多领域突破，做元宇宙引领者 场景应用 元宇宙+文娱 元宇宙+社交 元宇宙+教育 元宇宙+工业 业务使能层 沉浸式交互技术 （元宇宙之桥） 数智人 （元宇宙之魂） 数字孪生和内容生成技术 （元宇宙之境） 实时渲染内容生成引擎与平台 人工智能技术 （元宇宙之智） 机器听觉 自然语言处理 “九天”人工智能平台 基础使能层 体系支撑技术 （元宇宙之规） 认证体系数字身份 NFT “中移链”区块链平台 机器视觉 (一) 构建先进元宇宙技术和产业体系 （二) 培育三维交互的工业元宇宙 (三) 打造沉浸交互数字生活应用 (四)构建系统完备产业支撑 提升创新支撑能力 完善产业标准体系 打造一流基础设施 VR/AR/XR 五感交互 全息技术 脑机接口 数字孪生人 3D建模 (五)构建安全可信产业治理体系 基础支撑层 运营商基础设施（元宇宙之基） 移动通信网络算力基础设施 边缘计算 云计算 5G、5G-A、6G网络 场景应用 元宇宙+工业 元宇宙+文娱 元宇宙+社交 元宇宙+教育 元宇宙+...... 基础 支撑层 网 运营商基础设施（元宇宙之基） 从连接到感知的突破 云边端协同的一体化突破 算力基础设施 算 业务 使能层 沉浸式交互技术 （元宇宙之桥） 数智人 （元宇宙之魂） 数字孪生和内容生成技术 （元宇宙之境） 能力 基 座 基础 使能层 智 机器听觉 赋能数字人的融智突破 人工智能技术 （元宇宙之智） “九天”人工智能平台 构建可信体系的锚点突破 体系支撑技术 （元宇宙之规） 认证体系 “中移链”区块链平台 规 NFT 移动通信网络 5G、5G-A、6G网络 创新 生态 贯通产业生态 开放试验体系 布局核心标准 边缘计算 云计算 数字身份 机器视觉 自然语言处理 构建能力基座、贯通创新生态、探索场景应用 VR/AR/XR 五感交互 全息技术 脑机接口 数字孪生人 3D建模 实时渲染 内容生成引擎与平台 能力-网 从连接到感知的突破：助力元宇宙实现全域感知和虚实精准映射 面向6G和下一代物联网技术，探索感知无源化和集成化、通感一体化，为元宇宙提供虚实映射、万物智联的基础能力 物理世界 感知无源化 新型无源物联网 单点式-无源1.0 感知集成化 多传感集成智能微系统 通感一体化 6G通感一体原型机 通感信号回波信号 海量连接 映 射全域感知 极低成本 组网式-无源2.0 完成产品研发部署 局域覆盖 •组网式架构 通感基站 通感基站 通感基站 通感基站 通感基站 感知服务器 数字世界 蜂窝式-无源3.0 •接收灵敏度提升，实现百米级上行通信 完成复合微能源传感系统原型研发 通感原型样机并完成现网试验 在感知资源仅占4%的情况下，实现500米距离无人机亚米级探测 试验探索、首次覆盖距离超200米 全程全网 •引入蜂窝广域组网，新能力，新协议、新架构、新标签 •资产全生命周期管理 复合能量采集与自适应能源管理 基于TMV的高密度感知微系统集成面向无源微系统的高灵敏度天线 支持虚实与现实世界的高精度映射 能力-算 云边端协同的一体化突破：智能化协同的算力网络，实现元宇宙体验升级 打造面向元宇宙的算网一体化架构，依托算网大脑实现云-网-端智能化高效协同，提升用户端元宇宙应用体验 面向元宇宙的算网一体化架构 适配元宇宙超大规模场景、超高精度仿真、超强智能运算的特点 算网大脑 关键技术突破 业务体验提升 云化终端算力无限增强，更好体验元宇宙业务 数字孪生数字创造数字人 集中生产 中心算力 元宇宙场景建模 数字内容生产大模型训练 智能 感 复杂任务编排多级算力调度 智能算 网业协同 融合编排 •针对元宇宙大体量3D建模集中生产与边缘联合渲染的业务模型特点，依托算网大脑进行协同编排与分级调度 联合渲染流化处理 分布式渲染 数据采集预处理 端侧预处理 边算力 分布式动态渲染 知 端算力 力 边算力分配 •基于网业融合的云端三维重建系统，在实现高精建模基础上有效节约带宽约50% •基于5G-A网络信息感知的XR码率自适应技术，卡顿降低约60%、带宽资源节省约40% 异构协同 •CPU+GPU多算协同，支撑分布式渲染和实时内容聚合 端云融合，算力增强 终端性能按意愿扩展，云端无缝增强 无缝融通、安全保障 交互采集反馈 在云端，突破本地存储局限 能力-智 赋能数字人的融智突破：AI将元宇宙数字人升级为数智人 为虚拟空间用户形象生成及用户间互动提供通用技术能力，支撑多风格、不同等级数智人形象建模与交互 AI赋能的数智人能力平台 5G快签 5G新通话 中国移动掌厅 江苏掌厅 应用场景 咪咕视频视频彩铃 数字人生产运行的全生命周期支撑 咪咕云书店 产品 咪咕快游 星际广场大网业务 ….. 移动云盘 咪咕阅读 解决 方案 通信场景解决方案 APP端 数智人应用 比特空间数智人应用 TOB:客服、主播等场景个性化定制服务 能力 平台 数智人生产线 数智人能力接入SDK数智人能力开放平台统一3D素材运营管理系统 L1-卡通类L2-半写实类L3-写实类L4/L5-超写实类 多风格（卡通、写实、超写实）、多精度（L1-L5全覆盖） 核心能力 形象还原 形象生成能力 L1-卡通L2-半写实L3-写实L4-超写实L5-S级超写实 …… NFT AI 边缘计算 游戏云 5G 算力网络 形象还原 动作还原 声音还原 认知还原 底层 形象装扮能力 形象渲染能力 物理仿真能力 形象驱动能力 语音交互能力 智能对话能力 基础UnityUEWebGL 能力-规 构建可信体系的锚点突破：可信安全的元宇宙数字身份体系 结合运营商在安全可信SIM及码号资源的优势禀赋，构建可信安全的元宇宙数字身份体系，发挥三大作用 打造元宇宙身份技术平台 依托 ... 发挥三作用 数字人数字物 标识能力 身份标识管理 身份属性管理属性跨域共享 数字人数字物 可信的元宇宙数字身份 认证能力 数字人身份认证数字物认证 数字人数字物 权益能力 所有权管理 使用权管理权益转移管理 超级SIM+码号 标准化 互联互通 安全可信 标识作用 为身份主体分配全局唯一、支持多层级的数字身份标识 认证作用 基于多种安全认证技术，对主体身份要素进行核验 权益作用 对数字物的所有权和使用权进行 保护 应用 探索多领域场景应用，构建完善的沉浸式数字应用体系 积极探索元宇宙文旅文博、体育、教培、工业、家庭等领域的典型场景应用，多点开花共促丰富应用体系 文旅文博 体育运动教育培训工业孪生 沉浸式家庭 手机Pad大屏AR眼镜VR头盔车载屏幕 一品跨多端 支撑六大体验终端全场景2亿+活跃用户 应用 多元媒体编码传输增强技术，实现远程实时的沉浸体验 应对元宇宙多元媒体挑战，攻关数据统一表征、媒体编码增强、传输优化等技术，赋能实时交互沉浸体验的业务创新 多元媒体（听觉视觉触感信息流）采集、封装、编码、传输、交互 网络基础设施 渲染时画面连续，多视角一致性好，帧率大于25fps 准实时动态三维重建，延迟低于2s，满足实时交互沉浸体验 远程实时交互，力反馈延迟低于50ms 在新通话等场景中，增加协同，增强沉浸式体验 应用 MR云渲染引擎，实现数实融合的质量跃升 首创基于算网一体的MR实时空间云渲染技术，以云定位加云渲染模式，重构数实融合沉浸体验 基于“算网一体”的MR云引擎 场景模型超5000万面4K、60FPS功耗降低70%APP、H5/小程序、头显 重构数实融合沉浸体验 空间计算数实渲染 感知●定位●交互生产●融合●分发 分布式MR云渲染 端云协同空间计算 抗时延数实集成 智能异构算网调度 5G网络 中心云 边缘云 生态-产业生态 贯通产业生态：深化协同，形成产业合力 响应国家号召，与头部企业共建底座、共享生态，并筹建元宇宙产业链子链，强化元宇宙产业贯通 国家要求 《元宇宙产业创新发展三年行动计划（2023-2025年）》 力争2025年建成一批“有全球影响力的生态型企业” 共链行动 共建新机制共筑新基础共享新成果共创新生态 共谋新发展 共建内容生成引擎 面向元宇宙创作者、建设者、体验者，与Unity共建内容能力底座，赋能各行各业 元宇宙智创平台 生态-创新生态 布局核心标准：多领域实现核心标准突破，引导产业发展 在ITU/3GPP/CCSA等组织，积极布局元宇宙算网增强、数字人、身份体系、沉浸式编解码等标准立项，牵引技术方向 元宇宙标准化布局 算网增强领域： •3GPP牵头发布《面向XR及多媒体业务的网络架构增强标准》，牵头立项《数字人实时通信能力和网络架构》，《基于IMS的AR实时通信架构》，《XR传输的物理层增强技术》，《基于WebRTC的沉浸式实时通信框架》等 •ITU牵头立项，《数字人媒体服务云边平台需求和框架》等 媒体增强领域： •ITU牵头立项《增强现实(AR)业务QoE影响因素》、《增强现实 （AR）评测技术》等多个标准制定。 •牵头ITU-T国际标准《数字人接入接口框架和要求》、《3D数字人呈现和交互效果的指标和评估方法》等多个标准制定 •牵头发布UWA团体标准《3D数字人质量分级技术要求》 生态-创新生态 开放试验体系：依托元宇宙实验室，形成开放共享的创新试验台 依托协同创新基地汇聚中国移动5G/6G，算力网络，人工智能、区块链等能力要素，建设元宇宙创新培育的生态体系 协同创新基地布局面向业网算深度协同的元宇宙创新生态体系 开展国际交流与合作加强与创新联合体协同深化与产业伙伴的合作 中国特色元宇宙 携手创新共享精彩！ 中国移动研究院中移智库