刘景磊：打造创新技术策源高地，推动算力网络纵深发展

打造创新技术策源高地推动算力网络纵深发展 中国移动刘景磊 2023.09 算力是数字经济的核心生产力 ①事关核心生产要素升级 ②事关数字经济增速 ③事关双碳目标实现 算 电 网 水 计算机等设备制造 其他制造业批发零售业 互联网、软件和信息服务 金融业能源供应 科研和技术服务住宿餐饮业 文教卫生与社会服务 环境和公共设施管理 直接带动产出 间接带动产出 资料来源：国家统计局中国信息通信研究院 00.511.52 我国算力规模平均每增长一个百分点，带动数字经济和GDP将分别增长1.6‰和0.8‰ 80000中国数据中心耗电量及占全社会电量比 70000 2.71% 3.00% 2.42% 2.50% 60000 2.16% 50000 40000 30000 20000 10000 0 1.96% 2.00% 1.76% 1.86% 1.47% 1.50% 1.00% 0.50% 0.00% 2014201520162017201820192020 数据中心耗电量 全社会用电量 数据中心耗电量占比 过去十年，数据中心用电量以每年超10%速度递增，2020年约占全社会用电量的2.71% 2 算力网络发展回顾 3 算力网络体系架构 运 营意图感知 服 算网运营 统一运营 能力开放 融合统一的运营服务 务TaaS算力并网MaaS 层 编算网大脑 排设计编排调度 管 理感知接入能力接入智能 层 绿安融数注智的算网大脑 色全 算算网底座 网通用计算（通）分布式算力（边） 基智能计算（智）分布式算力（中心） 算网一体的基础设施 施 础设 OTN/ OXC 层 超级计算（超） 统一IP算网底座 OTN/OXC 全光底座 分布式算力（端） OTN/OXC 4 算力网络发展路径 起步阶段：泛在协同发展阶段：融合统一跨越阶段：一体内生 算+网协同 （算网协同的资源式服务） 大脑对算网等能力编排调度 （多要素融合的任务式服务） 算网从协议和系统层面开始融合 （极致体验的智能化服务） 协同编排网随算动 智能编排算网融合 智慧内生算网一体 2021-2023 十四五阶段 2024-2025 2025~ 十五五阶段及更长期 5 算力网络发展主线 中国移动从算网基础设施构建、业务融合创新、创新技术引领等多方面系统化推进算力网络建设和发展 主线一 面向算网基础设施构建 物理空间、逻辑空间、异构空间、多主体算力融通 “4+N+31+X”布局，1000边缘节点构建E级超大规模单体智算中心 打造20ms、5ms、1ms三级时延圈 主线二 面向业务融合创新 实现算网高效协同，支持CHBN业务融合发展，打造算网全新生态 产品算力化和算力产品化 创新服务体系，发布算网服务1.0构筑融数注智算网大脑 主线三 面向创新技术引领 实现创新技术引领，打造算力网络原创技术策源地 三横两域体系架构 创新提出十大技术发展方向布局攻关三十二大核心技术 6 主线一：面向算网基础设施——完善算网基础设施布局 面向“东数西算”要求，中国移动紧密围绕“四个融通”，深入推进算网建设布局，提升算网服务能力 算·融入东数西算战略布局网·构筑无所不达新型网络 打通东数西算主动脉 完善“4+N+31+X”数据中心布局 构建E级超大规模单体智算中心 打造中心节点间全光高速直连链路 做强边缘算力微循环 省级节点超300个，CDN节点超过 1500个，边缘计算节点1100余个 DCI云专网覆盖300余个地市 向算而生构建网络新架构 打造骨干20ms、省域/区域5ms、 城市1ms三级时延圈网络 枢纽节点间带宽向400G演进 技术创新打造网络新能力 SRv6/G-SRv6打造统一算网底座 网络切片提供满足确定性连接服务 新一代SD-WAN高效分发算力服务 7 主线二：面向业务融合创新——构建算力网络产品体系 以产品算力化和算力产品化为主线，打造更可靠、更高效、更智能、更便捷的算网服务体系，以“算龙头”作为运营服务门户，为千行百业用户提供算网能力服务入口 拓展新方案新服务 探索新业态新模式 东数西训 东视西渲 数据快递 中训边推 任务式服务 算力并网 自动驾驶 元宇宙 打造算力产品 升级云网融合产品 云XR 云游戏 云魔百和 云电脑 ... 云专线 云互联 5G云梯 云无线 ... 云手机 云空间边缘智能云 CDN 大云云盒 云组网PoP连接网云端口 运营服务门户（算龙头） 用户管理 产品管理 订单管理 营销管理 计费与结算 8 主线二：面向业务融合创新——构筑融数注智算网大脑 中国移动积极构建融数注智算网运营体系，建设业界首个算网大脑，向下拉通全域资源与能力，向上支撑全业务运营，实现算网资源与业务需求的最佳匹配 不同类型客户的服务需求 中国移动算网大脑 极高性能要求 不惜成本，需要快速处理反馈 统一编排 全局调度 智能优化 任务输入 便捷操作要求 便捷的寻找到成本和时效的综合方案 推荐最优执行方案 价格、时长、SLA 方案执行 调度任务分解 算网资源及能力协同调度 资源调整 最低成本要求 对时延不敏感，可通过时间换成本 算网调度能力达万次/分钟 任务交付 智能分析 智能预测智能决策智能调整 ... 安全可靠要求 算网环境稳定可靠，数据多地备份 社会算力 基础算力、智算算力 ABCDNETS原子能力（实现3000余种原子能力接入） 9 主线三：面向创新技术引领——构建核心技术体系，打造技术策源高地 中国移动持续推动算力网络技术的创新突破，构建算力网络核心技术体系，打造原创技术策源高地 算力网络核心技术体系 提出十大技术发展方向和三十二大核心技术 算力网络创新技术突破 加强关键核心技术攻关和原创技术突破 在网计算 打破算网边界 算力卸载 多算力形态统一底座 存算一体 突破冯氏架构 全调度以太 突破无损以太性能瓶颈 运营服务层 方向七：可信共享算网服务 绿色 算力交易 数据流通 安全 方向一：泛在智能新型算力 方向六：融数注智算网大脑 方向八：方向九： 端到端能力内生 绿色低碳新安全 多要素融合编排算网智能化 编排管理层 算网数据感知 方向三： 光电联动全光网 芯片节能全程可信 泛在调度算网原生编排智能网络调度 服务器节能 算网基础设施层 方向二： 多构 样性计算架 方向五：算网深度融合 方向四：确定性IP网络 安全编排 数据中心算力原生云原生算力路由OTN光电联动应用感知节能 算力卸载算力度量 在网计算 400G/800G 全光高速互联 确定性网络 空天地星云算网算网SPN切片承载 方向十： 新一代SD-WAN 低碳能源 隐私计算 2022年6月发布 存算一体智能算力 空天地一体PON超宽全光接入SRv6/G-SRv6 新型智算 NICC新型智算中心架构 算力原生 实现应用跨架构迁移 算力路由 突破互联网架构协议 总线互联 卡间高速通信 一体化全程可信 构建算力网络安全体系 400G/800G全光高速互联 超高速大容量全光网络 10 1、新型智算：构建新型智算中心技术体系，打造算力高峰 面向基础通用大模型孵化，中国移动构建NICC新型智算中心技术体系，围绕存、算、网、管、效五大核心技术特征全面推进，打造标准统一、技术领先、兼容开放的新型智算底座 九天 AI应用使能 算 制定扣卡服务器的统一技术和评测标准，构建多样性算力格局，丰富产业生态 存 创新提出多元融合存储技术方案，实现块、文件和对象三种存储方式统一，降低成本，提升存储效率 网 原创提出全调度以太网GSE技术，打造开放解耦、高性能的数据中心无损网络 管 创新基于API转发的GPU池化方案，实现资源的细粒度分配和跨资源池一体调度，提升智算资源分配灵活性和利用率 NICC新型智算中心技术体系重点工作 智算框架 TesnsorFlow PyTorch PaddlePaddl e Deepspeed ... 智算运营 编排调度 智算原生 跨架构编译器 “芯合”算力原生 算力抽象运行时 计量计费 ROCm CUDA CANN ... 算力交易 管 能力开放 裸金属实例 异构算力池化 虚拟机实例 容器实例 智算设施 算 FCAPS 管理 GPU集群算力 存多元融合存储 网 日志资产 管理管理 CPU GPU 文件对象 块 高速无损网络 高性能 全以太 RoCE 算力存储网络 管理管理管理 智算基建 液冷 整机柜 高效供电 冷却水系统效 效 引入服务器冷板式液冷方案，推进服务器和机柜的解耦，有效降低数据中心PUE 11 2、算力原生：智算应用跨架构迁移部署 中国移动原创提出算力原生技术，打造“芯合”算力原生跨架构平台，目标打破“框架+工具链+硬件”紧耦合的智算生态，屏蔽底层硬件差异，实现智算应用的跨架构迁移部署。 应用层 框架层工具链 Pytorch…… 应用层框架层 编程模型转换、编译、优化 Pytorch…… 跨架构流转的原生程序 •统一编程模型及源源转换 基于SYCL的单源编程模型范式 •跨架构综合编译机制 多级IR互转，图算数融合编译优化 硬件层 XXXX 无法互识跨架构流转 CANN oneAPI CUDA ROCm NeuWare …… 算力原生层 工具链硬件层 原生运行时 程序加载动态链接 CANN oneAPI CUDA ROCm NeuWare …… •原生程序格式规范 Host侧、Device侧指令元语及执行策略的一体承载 •原生运行时算力抽象 跨厂商运行时接口/指令集的可变粒度映射机制 繁冗开发、复杂适配、各自为栈一次开发、一次封装、跨芯迁移 ①发布《面向智算的算力原生白皮书》原创提出“两层架构”和“四大核心 技术” 三阶段发展路径：异构算力资源池化-应用跨架构迁移-全局泛在融通 ②OIF成立开源工作组，牵头国内外多项标准立项 ③打造“芯合”算力原生原型平台beta版，进行技术理念验证 实现视频分析、图像识别两类智 算应用在GPUT4、MLU370间 的跨架构部署迁移 12 牵头在OIF成立算力原生子工作组牵头在ITU、CCSA进行标准立项 3、算力路由：推动算网一体创新发展 中国移动创新提出算力路由体系，将算力信息引入路由域，通过统一控制和调度进行算网资源全局优化，实现用户体验、资源利用率和网络效率的最优组合 ②CA-BGP-LS:出口节点向算力控制节点通告算力状态信息 ①CA-BGP：采集算力信息，通过扩展BGP协议进行通告 ③CA-OSPF：在域内泛洪算力信息为路由提供参考 ①发现问题 云边以及边边调度之间出现“性能反转” 算力路由的提出 算力路由组网架构 算力路由协议簇 ⑤CA-Restful/json：通过restful协议接口收集Json消息算力信息 ④CA-Netconf/yang：通过Netconf协议下发Yang模型算力配置 ②问题本质 计算和网络是独立系统 算的负载和网的拥塞信息没有产生关联 ③解决思路 在路由中引入计算信息，进行联合调度 历时4年推动IETF成立算力路由工作组CATS，中国移动担任主席 2019~2022年5次研讨会2023年3月CATSWG成立暨首次会议，是路由域最受欢迎的工作组之一 工作组范畴和计划 13 模型参数从千亿迈向万亿，互联高需求从8卡扩展到百卡间 千亿模型：高通信需求（张量并行）集中8卡之间 3 ... 0 Sever1 Sever2 SeverN 0 4 1 5 2 6 3 7 0 4 1 5 2 6 3 7 … 0 4 1 5 2 6 3 7 SuperSever（S2）架构 万亿模型：高通信需求（MoE并行）集中在百卡之间 4、总线互联：从直连向交换拓扑演进，打造高效集群能力 高速卡间互联需求从8卡扩展到百卡，智算设备形态将从S（Server服务器）演变为S²（SuperServer，超级服务器），带来智算中心底层互联技术的全新