2023基于OTN传输网的任务式数据搬移技术白皮书

基于OTN传输网的任务式数据搬移技术白皮书ODCC-2023-03006 1 [编号ODCC-2023-03006] 基于OTN传输网的任务式数据搬移技术白皮书 开放数据中心委员会2023-09发布 基于OTN传输网的任务式数据搬移技术白皮书ODCC-2023-03006 版权声明 ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。 1 基于OTN传输网的任务式数据搬移技术白皮书ODCC-2023-03006 编写组 项目经理： 房梽斅中国移动通信集团公司工作组长： 王超阿里云计算有限公司贡献专家： 程宇中国移动通信集团公司肖爱元中国移动通信集团公司储琴琴中国移动通信集团公司许豪豪中国移动通信集团公司黄鑫中国移动通信集团公司董少杰中国移动通信集团公司王祎晨中国移动通信集团公司韩涛中国移动通信集团公司 刘丹中国移动通信集团公司 鲁博中国移动通信集团公司张久仙中国移动通信集团公司李从奇华为技术有限公司 任志清华为技术有限公司 袁国涛华为技术有限公司王少鹏中国信息通信研究院孙聪中国信息通信研究院 2 基于OTN传输网的任务式数据搬移技术白皮书ODCC-2023-03006 前言 随着新技术革命和产业变革，行业数字化升级进入深水区，数据量和跨域快速搬运需求呈爆炸式增长。现有网络采取的静态预部署方式难以满足周期性突发海量数据绿色高效传输需求。这不仅制约了海量数据在行业中的深度应用，也难以支持数据中台能力孵化、科研与数据密集型业务的需求。为皮胚数据高速增长，我国政府、企业等各组织单位陆续开展各级网络建设。其中最典型的2022年全面启动的“东数西算”工程。这是我国首次从战略层面对算力网络提出的顶层规划蓝图，是我国数字经济高质量发展的必然要求。东数西算战略要求数据能够按其所归属的业务特点能够灵活流动。相应的承载网络也应该具备灵活调度能力，打破传统静态组网方式，提升网络资源利用率，全面支撑国家战略落地。 中国移动积极响应国家号召，并针对中国移动IT云数据中心节点间TB/PB级海量数据快速搬运导致的网络峰值带宽诉求高、闲时带宽利用率低现状，通过构建大数据调度平台、算网编排中心（含OTN网络调度）、传输网网管、云管平台、NCE-T等编排调度子系统协同架构，提供“业务编排、削峰填谷，降低链路峰值带宽需求”、“无同步任务时，物理链路动态拆除”和“按需动态调整链路带宽”功能，具备对数据中心间互联的物理网络资源实施任务式带宽调整与连接动态拆建能力，实现一份物理资源多局向错峰使用、降低峰值时段带宽资源诉求、提高物理网络资源利用效率的目标。 3 基于OTN传输网的任务式数据搬移技术白皮书ODCC-2023-03006 本技术创新可以为科研、传媒等行业存在的任务式跨域海量数据快递需求提供优质可靠的解决方案，预期效果显著，而且支持高扩展性、高集成性以及标准化的技术和管理体系，支持IT服务与政企行业商业推广。 4 基于OTN传输网的任务式数据搬移技术白皮书ODCC-2023-03006 目录 版权声明1 编写组2 前言3 一、背景6 （一）中国移动IT云网络现状及局限性6 （二）中国移动IT云面临的挑战7 （三）中国移动IT云算力网络目标愿景8 二、中国移动IT云应用式错峰调度技术10 （一）云池间OTN互联链路分时复用11 （二）云池间OTN互联链路带宽动态调整12 （三）按云池业务需求敏捷配置汇聚型业务13 （四）品质链路随流检测14 三、中国移动IT云任务式数据搬移技术实践方案15 （一）中国移动IT云任务式数据搬移技术组网方案15 （二）中国移动IT云任务式数据搬移技术成效16 1.错峰编排海量数据搬移任务降低峰值时段资源诉求16 2.动态拆建与无损调节能力提升物理资源利用率17 3.从传统的“资源型售卖”向“任务式服务”演进20 四、方案应用及技术展望21 （一）方案应用21 （二）技术展望22 5 基于OTN传输网的任务式数据搬移技术白皮书ODCC-2023-03006 一、背景 （一）中国移动IT云网络现状及局限性 现有资源池间互联网络采用长周期静态连接专线方式，其烟囱式资源配置与管理机制缺乏灵活性，因IT云应用周期性、间歇性特征和云池间流量的峰谷效应，导致编排器的资源分配方式越来越复杂、资源分配效率持续降低。如图1所示为现网资源池间互联链路 流量统计数据，各资源池入口链路峰均比都比较高，如图2所示为H1池流量峰值比达到7.2，这意味着空闲时段网络轻载严重，物理链路资源严重浪费。 图1现网资源池间互联链路流量统计数据 图2现网资源池间互联链路流量峰值比 6 基于OTN传输网的任务式数据搬移技术白皮书ODCC-2023-03006 但IT云网络规模的不断增大，资源池间每天、每周、每月都会产生巨量运营数据，这些海量数据需要周期性、间歇性的集中迁移到集团级IT云资源池进行集中数据处理，导致峰值时段对网络资源诉求较高，而低估时段配置的网络资源存在较大比例的闲置，形成云池之间的网络资源存在“高”峰均比现象，导致网络资源平均利用效率较低，迫切需要一个创新方案来解决忙时峰值带宽高、闲时资源利用率低的困局。 （二）中国移动IT云面临的挑战 IT云资源池间数据搬移存在海量数据周期性和跨域限时传输的特点，传统静态组网方式存在峰值带宽资源紧张、资源利用率低、跨算力运力调度困难等问题，如图3所示。为落实解决IT云池间数据敏捷传输、高效吞吐，迫切需要任务式编排、弹性伸缩、物理隔离的灵活传输方案，破解当前困局。 图3跨云资源池数据突发业务 面临的挑战如下： 7 基于OTN传输网的任务式数据搬移技术白皮书ODCC-2023-03006 1、海量数据搬移导致网络带宽资源紧张，传输速率难以满足海量数据迁移需求； 2、网络资源静态部署，配置不均衡，域间和分时资源利用率差异大； 3、算力运力异构，统一调度困难，协调成本高。 基于以上挑战，首次提出算力网络任务式大数据搬移构想，通过从应用层进行任务式编排和算网协同能力，对资源池间应用算力和运力资源进行双向编排，实现运力网络按需调整、动态拆建，自上而下调度算力、网络资源，并根据需要自动拆建网络资源，提升全网资源利用率，实现网络资源的高效利用，降低传输资源诉求，提高搬移任务编排效率，且率先为中国移动东数西算、东数西训、东数西存、东数西渲等典型场景探索、打造任务式的算网资源供给服务，对任务式服务的商业模式和技术方案具有重要的探索意义。 （三）中国移动IT云算力网络目标愿景 中国移动IT云结合集团“东西平衡、全局协同”的算力布局总体目标，落实“业务分级、算力分布、一体供给、全局服务”的业务布局蓝图。为实现集团级IT云集群的高效、敏捷集中运营优势，结合算力布局目标的落实，中国移动提出构筑数据、算力、存力、运力资源的“任务式”协同架构，打造以应用为主线的资源任务式分配、以资源为约束的应用任务式编排、以算运为手段的任务式联合调度、以光网为基础的任务式动态拆建、以智能为引擎的任务式 8 基于OTN传输网的任务式数据搬移技术白皮书ODCC-2023-03006 自动适配五大“任务式”能力，全力支持CHBN全向发力、业务高质量发展。 1、以应用为主线的资源任务式分配 建立统一的大数据调度平台，支持统一的IT云应用资源分配，从顶层应用上对资源进行整体安排，减少多应用之间的资源冲突和干扰，规避无序资源浪涌，从而实现高效利用。 2、以资源为约束的应用任务式编排 建立算力、运力、存力、数据等资源的日历地图，实现可用资源可视化，并在资源约束条件下对应用进行任务式编排，实现应用对资源的有序访问，保障应用的资源充足供应。 3、以算运为手段的任务式联合调度 根据应用诉求，打通算力、运力、存力、数据壁垒，实现异构多资源的联合编排，实现算力、运力、存力等资源的同开同停，同拆同建，通过资源一致性分配，避免资源无序浪费。 4、以光网为基础的任务式动态拆建 感知应用的数据调度诉求，依托OTN光网的“大带宽、高吞吐、低时延、低能耗”强大能力，打破传统OTN光网的静态资源分配模式，构建任务式动态拆建能力，实现数据中心之间资源的按需配置和高效利用。 5、以智能为引擎的任务式自动适配 9 userid:414195,docid:142769,date:2023-10-14,sgpjbg.com 基于OTN传输网的任务式数据搬移技术白皮书ODCC-2023-03006 引入智能管控技术，统计资源访问规律，预测资源诉求，为应用和资源的编排、调配提供自动适配机制，既满足应用的敏捷诉求，同时保障资源的高效访问。 二、中国移动IT云应用式错峰调度技术 针对IT云资源池间大量数据搬移导致的网络峰值突发需求高，链路整体利用率低的情况，利用OTN网络独有的超大容量吞吐和稳定的低时延能力，开展海量大数据搬移创新。通过横向打通资源池内网络与OTN广域网络，纵向打通数据调度平台、算网编排中心和传输工作台，基于此重点技术创新和业务创新实现四个目标： 1、海量数据搬移任务错峰算网编排，降低忙时峰值时段网络资源诉求； 2、通过链路灵活拆建技术释放闲时资源，即低谷时段动态拆建，提高资源利用率； 3、运用网络智能可视化技术，实现运力资源智能控制和资源动态优化分配； 4、推动“资源型售卖”向“任务式服务”演进。 基于全光运力的超大带宽、超低时延、安全可靠等优势，通过数据调度平台、算网编排中心、云管平台等编排调度子系统协同，构建一体化的运力体系，打造任务式编排、弹性灵活伸缩的数据传输通道，实现算网协同，按需灵活为海量数据提供大颗粒、低时延、 10 基于OTN传输网的任务式数据搬移技术白皮书ODCC-2023-03006 高可靠、可承诺的传输服务，支撑云间海量数据周期性高品质跨域搬移需求，如图4所示。 图4任务式数据搬移关键技术整体架构图 （一）云池间OTN互联链路分时复用 通过算网编排技术，使云池间OTN互联链路分时复用，达到算网链路按需时段动态拆建，全生命周期如图5所示。 图5云池间OTN互联链路分时复用全生命周期 1、发起创建T1时段云池间链路：编排系统通知NCE-T，需创建从中心云池A与中心云池B的数据同步链路，链路带宽为1Gbps。 11 基于OTN传输网的任务式数据搬移技术白皮书ODCC-2023-03006 算网编排系统启动生命周期定时器，定时时长为用户设置的链路生存期。 2、创建T1时段云池链路：NCE-T驱动创建中心云池到郑州云池间的P2P专线，链路带宽为1Gbps； 3、T1时段云池链路到期通告：生命周期结束，编排系统通知NCE-T，发起资源池A至资源池B链路删除； 4、删除指定链路：NCE-T收到删除通告，发起中心云池至郑州云池的专线删除操作，删除链路； （二）云池间OTN互联链路带宽动态调整 业务驱动系统承载需求发生变化时，通过编排系统能够驱动网络链路带宽同步调整，调整结果满足业务系统变化后的需求。动态调整全生命周期如图6所示。 图6云池间OTN互联链路带宽动态调整全生命周期 12 基于OTN传输网的任务式数据搬移技术白皮书ODCC-2023-03006 1、IT云管平台发起带宽扩容：因临时要同步10GB日志至中心云池，但传输时段不变，IT云管平台将此突发需求通告给算网编排系统； 2、计算新增链路带宽：算网编排系统根据新增传输数据量 10GB，计算剩余生存周期，计算出此专线应扩充的链路容量； 3、专线带宽扩容通告：编排系统通知NCE-T，发起中心云池A至中心云池B现有专线链路带宽扩容； 4、扩容指定专线：NCE-T收到扩容通告，发起中心云池A至中心云池B的P2POSU专线扩容操作。 （三）按云池业务需求敏