2024基于RDMA的长距无损数据搬移技术白皮书-中国联通

免责声明 本文档可能含有预测信息，包括但不限于有关未来的财务、运营、产品系列、新技术等信息。由于实践中存在很多不确定因素，可能导致实际结果与预测信息有很大的差别。 因此，本文的信息仅供参考，不构成任何要约或承诺，主编不对您在本文档基础上做出的任何行为承担责任。主编可能不经通知修改上述信息，怒不另行通知。主编保留对本文档的最终解释权。 前言 版权声明 随着人工智能时代的来临，千行百业大模型风起云涌，海量数据以T、P、甚至E级别如太平洋海水般随之产生。我国基于资源配置优化，提升资源使用效率部署实施“东数西算”战略工程，这其中就涉及到海量数据的调度协调和搬运。传统的数据搬运是通过快递硬盘，源宿两地读写方式来实现，这种方式耗费时间长，效率低、安全性也比较差。数据通过硬盘来实现跨地域的运输就好比绿皮蒸汽火车，速度慢，人员拥挤，体验差。如何解决这一问题呢，观察中国高铁的发展模式或可得到很好的启发，高铁发展至今，世界领先，高效舒适，安全可靠，体验很好，带来了人员和商品的流动也发生了质的提升和改变，也同时促进了社会经济的发展。当今数字世界，对数据的流动运输提出了高吞吐、高弹性、高安全和时效性需求，效率即是生产力，中国的高铁模式值得参考借鉴，打造“数据高铁”就变得尤为重要。 本报告版权属于中国联合网络通信有限公司研究院，并受法律保护。 违反上述声明者，本院将追究其相关法律责任。 联合编写单位：（排序不分先后） 中国联合网络通信有限公司研究院，中国联合网络通信有限公司上海分公司，中国联合网络通信有限公司宁夏分公司，中国联合网络通信有限公司江苏省分公司 为全面贯彻国家网络强国数字中国战略，支撑国家“东数西算”工程，发展新质生产力，中国联通积极践行央企使命担当，确立了“数字信息基础设施运营服务国家队、网络强国数字中国智慧社会建设主力军、数字技术融合创新排头兵”的战略定位，在2015年，发布了网络创新体系CUBE-Net2.0，提出了面向云端双中心的集约解耦型网络架构，加速电信网络向云化、虚化化、SDN化等转型。经过5年的实践后，算力时代全面到来，通信网络如何可持续发展，新一代网络的运营体系和服务体系如何构建，如何向客户提供更有价值的网络创新产品，这都是整个行业需要认真思考、积极探索、不断实践的地方。 编写组成员：（排序不分先后） 王光全，王泽林，满祥锟，徐博华，谭艳霞，刘畅，章万钧，肖青顺，杨福理，张贺，沈世奎，王海军，师严，刘红红，续建伟，王俊敏，周彦韬，董姗，岳文强，薛金明，潘皓 在此背景下，在2021年，中国联通将CUBE-Net2.0升级为CUBE-Net3.0，致力于实现“连接+计算+数据+智能”的融合服务，进而达成从新一代网络到新一代数字基础设施的蜕变。中国联通基于CUBE-Net3.0新一代网络规划体系，从算力供给、输送、调度和服务四大方面，构建算网结构合理、运力充足、体验领先的算力网络，提供“联接+感知+计算+智能”云网边一体化的算网服务，从而支撑数字经济发展，赋能千行百业。 在此基础上，中国联通在2020年发布《云时代的全光底座》，在2022年发布了《算力时代的全光底座》白皮书，本《基于RDMA的长距无损数据搬移技术白皮书》是全光底座的进一步创新和发展，是面向智算/超算互联，通过端网协同技术，解决广域RDMA大流量的长距离无损传输，提供区别于按月按带宽计费的组网业务，采用任务式连接，提供按照流量、按时效等方式计费的组网业务，助力数字中国、 东数西算等国家战略的实施。 本白皮书详细描述了海量数据RDMA长距无损数据搬移技术的需求、数据搬运度量、端网协同长距无损技术和标准化和产业发展倡议。 图表目录 目 录 01 典型应用场景.................................................................................................................................1 01 图目录 1.1 海量科学计算.................................................................................................................................................... 11.2 影视行业 ........................................................................................................................................................... 11.3 自动驾驶 ........................................................................................................................................................... 21.4 工业制造 ........................................................................................................................................................... 31.5 东数西算 ........................................................................................................................................................... 31.6 数据搬移业务需求，挑战与机会总结 ............................................................................................................. 3 图 1天文数据搬移................................................................................................................................................. 1图 2数字电影发放................................................................................................................................................. 2图 3车企训练数据上云 ......................................................................................................................................... 2图 4工业数字化制作优化 ..................................................................................................................................... 3图 5数据搬移架构图............................................................................................................................................. 7图 6高性能RDMA流量和普通流量....................................................................................................................10图 7长距RDMA拥塞控制示意图........................................................................................................................11图 8上海-宁夏“RDMA长距无损数据搬移”项目验证组网............................................................................12 3.1 架构与关键特征................................................................................................................................................ 73.2 关键技术 ........................................................................................................................................................... 83.2.1 灵活承载.................................................................................................................................................83.2.2 任务式带宽 .............................................................................................................................................83.2.3 长距高效率 .............................................................................................................................................83.2.4 安全可靠.................................................................................................................................................93.2.5 统一编排.................................................................................................................................................93.2.6 长距RDMA提速技术........................................................................................