李锴：算力网络使能边缘计算快速发展

算力网络使能边缘计算快速发展 演讲人：李锴演讲单位：中国移动研究院 一、中国移动算力网络新发展 二、算力网络对边缘算力提出新要求三、面向算力网络的计算方案新实践 新发展：算力是数字经济发展的新引擎 数字经济发展水平与算力规模密切相关，算力对数字经济的发展有显著的带动作用，数据的高效处理决定数字经济高质量发展，需做好算力的建设布局和技术革新 2016-2025年样本国家数字经济占比趋势各国计算力指数及排名 指数 排名 来源：IDC2021 预计到2025年，各个国家的数字经济占GDP的比重持续提升到41.4%，发达国家的数字经济占GDP比重明显高于发展中国家，但发展中国家数字经济占比增速略高于发达国家 来源：IDC2021 算力指数的分布分为领跑者、追赶者、起步者三个梯度国家，由算力指数的提升所带来的经济增长情况发现，三个梯队国家算力指数的划分点分别出现在60分和40分 新发展：中国移动提出算力网络发展战略 中国移动以网强算提出“算力网络”新理念，以算力服务为中心、网络服务为根基，网、云、数、智、安、边、端、链（ABCDNETS）等要素深度融合，提供一体化服务的新型信息基础设施 2021年11月，中国移动合作伙伴大会 中国移动算力网络发展倡议白皮书 2021年11月2022年6月 发布《算力网络白皮书》发布《算力网络技术白皮书》 新发展：中国移动持续优化算力网络资源布局，支持多业务节点提供边缘服务 中国移动持续完善“4+3+X”算力资源布局，推进边缘算力覆盖，加快泛在算力基础设施服务供给 一、中国移动算力网络新发展 二、算力网络对边缘算力提出新要求三、面向算力网络的计算方案新实践 新要求：算力网络业务繁多，对边缘底层算力提出多样性要求 边缘业务繁荣共生，决定边缘算力呈现资源多样化、算网共生、智算融合的特征，“通用”+“异构”+“网络”等资源支撑 边缘计算业务分布在各个领域，其应用场景对算力的功能、性能要求差异化明显，提供算力服务的时候需重点考虑多样性算力资源供给，在网络性能要求高的领域应重点考虑对低时延友好的无损网络环境 新要求：边缘算力应能适应新型算力发展要求 主要驱动力 技术驱动力: •传统单功能芯片向多异构芯片集成方式演进，丰富的指令集满足更加多样化的场景要求 •从计算向计算+连接方向发展，例如多die的UCIe连接，多层次连接等 市场驱动力： •边缘侧计算密集型业务，如AI推理、媒体、安全、区块链等 图片来源：互联网 技术架构改进 Chiplet： •使用相对成本可控的积木式模块化，设计计算平台SoC芯片 异构多芯片： •硬件乘法器，用来快速实现数字信号处理算法，在多媒体、工控领域大量使用 •利用异构资源完成特定领域定制加速，实现更高性耗比 •新型封装技术：2.5D、3D封装 图片来源：互联网 制造技术升级 高端制造技术： • DUV光刻机多重曝光、新型FinFET、GAAFET使用推动向3nm以下发展 图片来源：互联网 新要求：算力网络业务对边缘算力提出极致的性能需求 边缘计算业务“极致”性能要求，推动新型边缘基础设施算力释放 通用计算单元(CPU) 并行计算单元(GPU/AI) 数据处理单元(DPU) 网络/互联/池化 •极致虚拟化能力（NFV） •众多核心覆盖（100+） •处理器访存能力（<1nm） •网络转发能力（∞100%） •通用计算能力（300+） •大量训练样本，修正模型 •利用模型进行推理预测 •图像渲染性能 •编解码性能 •功耗、稳定性 •数据、控制平面可编程 •数据卸载、灵活处理 •裸金属智能管理 •标准操作系统和工具 •故障域和安全隔离 •RoCE、IB等高速网络互联 •计算/内存/存储池 •400G/800G以太网 •缓存一致性 高 + 低 + 低 = 极致 吞吐 时延 功耗 性能 新要求：边缘计算业务对算力围绕单核心架构和多中心对等架构有长期共存需求 CMP 并行多核架构 多流水线、超标量、多发射、乱序 高主频无法维系 单核性能天花板 Dennard缩放 围绕单核心架构 异构时代 多中心对等架构 暗硅 •单核心架构：标准通用性高、开发难度低、易错率低、缓存一致性、效率偏低 •多中心对等架构：运行效率高、跨NUMA访问、紧耦合异构总线难编程、太多Cores浪费在I/O路径、系统优化难 CPU、DPU、IPU、GPU、FPGA各自存在内存的分离，存在各自的分支跳转； 操作系统面临巨大挑战，传统OSkernel无法完成，当前生态链差，技术壁垒高； 解决后摩尔CMP多核心的问题，包括功耗、暗硅、跨NUMA； 各个cache一致性数据共享问题； LocalMemory LocalMemory LocalMemory 需要考虑解决的问题： CPU （x86） GPU （CUDA） Accelerators （Arm） 系统互联 新要求：架构层面，冯诺依曼架构面临存储墙问题，后摩尔定律时代的计算效率需要突破 •计算与存储物理分离，指令与数据统一译码，各模块相对独立演进，产生额外的数据搬运； •硅基材料基于电子移动，晶体管栅极电压控制机制，单芯片效率不高； •随着Dennard缩放定律的限制，封装内的TDP热功耗高，片内Cache材料的容量很难继续扩展； •使用新型非易失材料规避“内存墙”，存算一体等体系结构减少数据搬移产生的能耗； •①后摩尔时代通过3D堆叠、Chiplet等技术扩展计算密度和增强计算性能； •②定制DSA、异构计算设计针对指令、微架构、连接总线特定领域进行定制增强；通过不同指令集、体系结构的协同完成转发、计算等加速； •③解决边缘裸金属资源管理，以及一些数据传输问题，将计算和转发逐步从标卡向DPU演进; •④数据的大量搬移，需要多Die互联及封装协议； 新要求：配套层面，业务在边缘侧更加立体泛在，硬件需能应对复杂环境的挑战 边缘算力承载在多种环境中，边缘硬件需要综合考虑供电、散热、空间、环境、安全等多方面因素 形成硬件标准化，扩大规模效应，降低建设成本，便于运维 一、中国移动算力网络新发展 二、算力网络对边缘算力提出新要求三、面向算力网络的计算方案新实践 新实践：制定智算产品评估方案，构建跨架构开发平台 加速构建智算基础设施开放、成熟的生态环境，开展GPU卡和服务器开展评测，构建以AI框架、硬件编译协同的跨架构开发平台，屏蔽硬件差异，最大化使能异构算力 算力抽象接口标准化 开发框架标准化 加速硬件模块标准化 •对产业内多种规格（包括OAI/OAM、PCIe）的GPU卡和服务器开展评测，推动产品落地与发展 •面对日益割裂的智算生态，构建以AI框架、硬件编译协同的跨架构开发平台，屏蔽硬件差异，最大化使能异构算力 新实践：制定统一评测标准，打造“芯巢”多样性算力孵化平台，赋能中心、边缘性能释放 甄选各芯片高性能、易使用的产品，以高要求业务牵引芯片能力迭代，高效促进跨行业开放协作 系统化跨架构处理器高性能评测体系 服务器网卡数据包低时延转发评测体系 •对x86、Arm等高性能处理器计算、访存、数据包处理等方面进行评测； •对计算、访存、处理等多维度进行性能对标； •对数据包多队列、无状态网络卸载等极致性能对标； •涵盖虚拟化、裸金属多个智能网卡应用评测； 边缘场景GPU/AI加速卡 高计算评估标准 •人工智能加速卡高带宽方案评估标准； •涵盖裸机、虚拟机、容器，整张或虚拟化AI加速卡全能力； 内存与SSD硬盘 多场景高吞吐评测体系 •随机IOPS、时延、顺序带宽、QoS全方位高性能评测； •多平台兼容性适配，为自主可控平台保驾护航； 新实践：构建多种计算模式，探索多计算芯片、内存池化技术演进 软硬件生态系统逐渐完善缓存一致性协议，可为边缘异构计算和多主机联合解决时延和带宽问题提供较优路径 服务器内存向DDR5/6转型，提升内存的容量、带宽、速率 数据中心将会通过CXL等技术，实现串形链路内存子系统的扩展，提高内存的容量和带宽 数据中心将计算、内存、存储等资源将池化，按照工作负载的具体需求，将资源定向分配和重分配，资源的池化可以将资源的利用率大幅度提高 新实践：依托标准和开放实验室构建DPU领域开放生态，支持高效的边缘服务 针对DPU引入优先推进服务器整机硬件标准化，扫清多产品适配问题，在边缘计算领域探索硬件规模应用 围绕管理、网络、存储、计算、安全五大软件系统，定义DPU软件功能要求和交互接口 建立DPU开放实验室，锚定业务场景孵化器、技术方案实验床、产业聚合平台三大定位，推进DPU产业稳步健康发展 新实践：打造便携式5G算网一体机，推动边缘算网服务便捷高效 集轻量化核心网、智简无线、边缘算力于一身的小型一体化5G算网融合设备，功能完备、灵巧便携、开机即用，可广泛用于现场级算网服务，实现网络无所不达、算力无所不在 算 面向专网及边缘定制OTII服 务器 可扩展GPU增强边缘 智算能力 内置面向不同场景的 边缘应用 可连接企业内网或 互联网算力 网 完整5G核心网功能， 按需配置策略 自带一体化基站，可扩展其 它基站 支持各类商用5G终端 直接连接 可通过CPE扩展其他 设备类型 便携 •2台核心设备 •1条数据连线 •0人工配置 •10分钟开机即用 新实践：更多关于中国移动算网信息，可以关注二维码获取