新一代智算中心网络技术白皮书（2022）

新一代智算中心网络 技术白皮书 （2022年） 中国移动 2022年11月发布 目录 前言3 1.智算中心发展情况4 1.1.政策形势4 1.2.产业趋势4 1.3.技术趋势5 2.智算中心网络发展趋势6 3.智算中心网络关键技术9 3.1.超大规模网络关键技术9 3.1.1.新型拓扑9 3.1.2.高效能IPV6演进10 3.1.3.智算中心间网络连接11 3.2.超高性能网络关键技术12 3.2.1.自适应路由12 3.2.2.静态转发时延优化13 3.2.3.端网协同14 3.2.4.在网计算17 3.2.5.DPU卸载19 3.2.6.智能ECN20 3.2.7.基于信元交换的网络级负载均衡22 3.3.网络可靠性及智能运维关键技术23 3.3.1.数据面故障感知与恢复23 3.3.2.基于意图的网络仿真校验23 3.3.3.智能运维闭环网络24 4.总结和展望25 术语与缩略词表26 前言 2022年2月18日，国家正式启动“东数西算”工程，突显了数字经济在国家发展中的战略地位。IDC预测，数字经济的占比将持续增加，到2022年，全球65%的GDP将由数字化推动；在中国，到2025年，在新基建等战略驱动下，数字经济占GDP的比例将超过70%。数据在未来企业的成长过程中扮演越来越重要的角色，对数据价值利用的深度将决定企业数字化转型高度。而算力是数字经济发展的基础设施和核心生产力，是国家经济发展的重要基础设施。据《2021-2022全球计算力指数评估报告》显示，计算力指数平均每提高1个百分点，数字经济和GDP将分别增长3.5‰和1.8‰。 算力网络是联接算力供给端和需求端的重要桥梁，也是未来经济发展的重要衡量指标之一。“算力为中心，网络为根基”，网络贯穿算力的生产，传输和消费全流程，一张具有超大带宽、超低时延、海量联接、多业务承载的高品质网络是关键。 本白皮书主要研究智算中心发展情况、智算中心网络发展趋势以及满足智算中心发展需求的智算中心网络关键技术，希望通过在超大规模网络关键技术、超高性能网络关键技术、超高可靠网络关键技术以及网络智能化关键技术等方面的探索，为未来面向智算中心的新型网络架构提供参考。 本白皮书由中国移动通信研究院牵头编制，联合编制单位：华为技术有限公司、上海云脉芯联科技有限公司、中科驭数(北京)科技有限公司、中兴通讯股份有限公司等。 本白皮书的版权归中国移动通信研究院所有，并受法律保护。转载、摘编或利用其它方式使用本白皮书文字或者观点的，应注明来源。 1.智算中心发展情况 1.1.政策形势 当下，新一轮科技革命方兴未艾，各行各业开启全面数字化。大数据、云计算、人工智能、区块链等数字化技术落地应用，对计算能力提出更高要求。算力，与经济社会发展的联系愈发密切，成为驱动产业变革的新兴动力。 信息技术浪潮推动人类社会由“电力时代”迈向“算力时代”，以算力为根基的智能化数字经济世界即将来临。为打造经济发展新高地、应对国际激烈竞争、抢抓战略制高点，近年来，党中央、国务院高度重视数字经济发展，推动算力相关技术研发，加快部署各类算力中心。 2020年4月20日，国家发展改革委首次明确新型基础设施范围，将智能计算中心作为算力基础设施的重要代表纳入信息基础设施范畴。随着AI产业化和产业AI化的深入发展，智算中心受到越来越多地方政府的高度关注并开展前瞻布局，已成为支撑和引领数字经济、智能产业、智慧城市、智慧社会发展的关键性信息基础设施。中国智能算力占全国总算力的比重也由2016年的3%提升至2020年41%，预计到2023年智能算力的占比将提升至70%。 2021年5月24日，国家发改委等四部门联合发布了《全国一体化大数据中心协同创新体系算力枢纽实施方案》，明确提出布局全国算力网络枢纽节点，启动实施“东数西算”工程。今年2月，“东数西算”上升为国家战略，国家发改委等部门确定了8个国家算力枢纽节点， 并规划了10个国家数据中心集群。 政策方面的扶持和激励，特别是东数西算工程的全面启动，给智算中心的快速发展注入了强大的助推剂。智算中心承载以模型训练为代表的非实时性算力需求尤为适合实施"东数西算"，以智算中心为算力底座，在我国东西部地区开展人工智能领域的算力协同合作，“东数西训”将是我国推动"东数西算"工程落地的重要场景之一。 1.2.产业趋势 近年来，自动驾驶、生命医学、智能制造等领域发展迅速，随之而来的是超大规模人工智能模型和海量数据对算力需求的不断提高，智算中心建设正当其时。 工信部数据表示，截至2021年底，我国在用数据中心机架总规模达520万标准机架， 在用数据中心服务器规模1900万台，算力总规模超过140EFLOPS。全国在用超大型和大 型数据中心超过450个，智算中心超过20个。 据不完全统计，从2021年1月1日到2022年2月15日，全国共有至少26个城市在推 动或刚刚完成当地智算中心的建设，其中投入使用的有8个，包括南京、合肥等地的智算中 心。除了这些投入使用的，全国至少还有18个城市签约、开工、招标、计划建设智算中心项目，包括深圳、长沙的项目都已经开工建设。 其中几个典型的智算中心规模如下： 8月30日，阿里云宣布正式启动张北超级智算中心。该智算中心总建设规模为12 EFLOPS（每秒1200亿亿次浮点运算）AI算力，将超过谷歌的9EFLOPS和特斯拉的1.8EFLOPS，成为全球最大的智算中心，可为AI大模型训练、自动驾驶、空间地理等人工智能探索应用提供强大的智能算力服务。 在WAIC2020大会期间，商汤科技宣布，上海“新一代人工智能计算与赋能平台”临港超算中心启动动工。该算力中心占地面积近80亩，总投资金额超过50亿元人民币，一期将安置5000个等效8000W的机柜。算力中心建成并投入使用后，总算力规模将超过3700PFLOPS,可同时接入850万路视频，1天即可完成23600年时长的视频处理工作。 南京智算中心采用浪潮AI服务器算力机组，搭载寒武纪思元270和思元290智能芯片及加速卡。目前已运营系统的AI计算能力达每秒80亿亿次（AI算力远超传统数据中心提供的基础算力供给），1小时可完成100亿张图像识别、300万小时语音翻译或1万公里的自动驾驶AI数据处理任务。 1.3.技术趋势 随着算力经济的发展，以及人工智能产业越来越成熟，各种专用算力芯片在市场上也是呈爆发式发展趋势，对应的智能算力在总算力中的占比也在逐渐提高，传统的通用算力占比在下降。在新一代智能算力集群中，由各种算力协同一起完成一个大规模复杂的计算任务，各种类型的资源首先需要池化，如存储资源池、GPU资源池等。 服务器作为算力的主要载体，开始踏入了更高速的车道。以AI为核心的算力需求激增，多元异构算力增速超过通用算力成为主流。越来越多的行业使用人工智能技术分析、挖掘日常海量数据，以图像、语音、视频为主的非结构化数据导致深度学习模型的规模和复杂性不断增加。到2030年，以GPU、NPU等为代表的智能算力增长近500倍，远超10倍增速的 通用算力，成为全球算力主流。随着摩尔定律逼近极限，以CPU为主的通用计算性能提升放缓，为保证数据处理效率，GPU、DPU、FPGA等异构加速芯片将有望取代CPU成为智算中心的主算力。 存储系统实现应用数据的持久化，向应用提供数据访问服务。随着社会智慧程度的提高，海量数据收集、分析、处理带来的挑战越来越大，智算中心必须解决好数据“存得下、读得出、用得好”的问题。需要多方面的提升存储能力，首先，存储介质由单一的HDD向SSD、SCM、HDD等异构存储介质演进，采用高速存储协议NVMe，满足上层多样化的数据存储需求；其次，需要提升数据存取效率，重点解决处理器内部、处理器和内存、内存和外存以及服务器之间等不同层级数据存取的效率问题，包括提升L1、L2、3的Cache缓存能力、构建大规模持久内存池、引入RDMA/DMA协议等，实现端到端数据存取加速，最终实现降低访问时延、大幅提升传输效率的目的；最后，传统集中式存储在弹性扩展能力等方面存在力不从心，基于通用硬件构建的分布式存储快速发展。 2.智算中心网络发展趋势 在过去十年，数据中心网络技术经历了两个发展阶段： （1）虚拟化时代（~2020），以应用为中心，提供远程服务：各类敏捷智能的微服务应用的发展，推进了企业的数字化转型。在这一阶段，分布式和虚拟化技术替代了大型机、小型机，满足了当时企业业务扩展带来的弹性需求，通过ESXI/OPS/Docker等虚拟化技术，实现生产系统上云，推动数据中心高速发展。 （2）云化时代（~NOW），以多云为中心，提供云化服务：多云之间算力无损调度需求，推进了云化计算和算力网络发展。在这一阶段，出现了资源池化技术，把计算和存储资源分离，再规模化编排和调度，提供了超大规模的计算和存储资源池。GPU高速发展、算力普惠，带来算力中心集约化建设，数据中心正从“云化时代”转向“算力时代”。 传统数据中心，面向传统的计算处理任务，或离线大数据计算，以服务器/VM为池化对象，网络提供VM/服务器之间连接，聚焦业务部署效率及网络自动化能力。智算中心是服务于人工智能的数据计算中心，包括人工智能、机器学习、深度学习等需求，以GPU等AI训练芯片为主，为AI计算提供更大的计算规模和更快的计算速度，以提升单位时间单位能耗下的运算能力及质量为核心诉求。 智算中心将算力资源全面解耦，以追求计算、存储资源极致的弹性供给和利用，以算力资源为池化对象，网络提供CPU、GPU、存储之间总线级的高速连接，如图2-1所示。智算中心网络作为连接CPU、xPU、内存、存储等资源重要基础设施，贯穿数据计算、存储全流程，算力水平作为三者综合衡量指标，网络性能成为提升智算中心算力的关键要素，智算中心网络向超大规模、超高带宽，超低时延、超高可靠等方向发展。 图2-1池化总线级智算中心网络 系统级端网协同体系创新是智算中心高性能网络性能提升关键，端侧通过智能网卡硬件卸载网络协议栈，提升网络规模及处理性能，网侧构建低时延、高吞吐的高速通道。如图2-2所示，智能网卡与网络设备协同工作，优化拥塞控制算法、网络态势感知、动态路径切换、端到端带内遥测等能力，打造极致的网络性能与运营能力。 图2-2端网协同的下一代高性能网络体系 新一代智算中心将从数据中心的内部做体系化创新，从以往的以云为中心，进入以AI为中心的体系架构。元宇宙、生命科学等超大算力需求呈现爆发式增长，超大算力中心、异构算力协同应运而生。但新一代智算中心网络当前还面临四大关键挑战： 1、超大规模网络 随着AI、5G、IoT等技术的爆炸式发展，海量数据流的产生和多元化的应用场景为智能计算产业带来发展机遇。在这一过程中，基于CPU架构和工艺提升的创新日益趋缓，已无法满足新场景下多样化算力快速增长的需求，算力提升的核心动力正从CPU扩展到以NPU（Neural-NetworkProcessingUnit，嵌入式神经网络处理器）、VPU（VectorProcessingUnit，矢量处理器）、GPU（Graphicsprocessingunit，图形处理器）等为代表的计算单元。XPU直出以太等技术持续发展使得计算/存储资源实现解构。未来会出现融合以太、总线、信元技术的超融合网络，满足计算/存储/内存池化需求。智算中心内节点的数量将增长10倍，从现在的十万台服务器增长到百万台XPU互联。 2、超高性能网络 当前AI应用已采用GPU甚至专用AI芯片，计算速度相比传统CPU提升100~1000倍之多。同时AI应用计算量也呈几何级数增长，算法模型向巨量化发展，人工智能模型参数在过去十年增长了十万倍，2025年向百万亿参数模型演进，训练数据集规模百倍增长。同时，存储介质SSD访问性能较传统HDD已提升100倍，而采用NVMe接口协议的SSD（简称NVM介质），访问性能相比HDD甚至可以提升10000倍，在存储介质大幅降低的情况下，网络时延