刘鹏：算力路由(CATS)技术标准进展和展望

算力路由(CATS)技术标准进展和展望 中国移动研究院基础网络技术研究所刘鹏 2023年10月 目录 1 算力路由的提出背景 2 算力路由技术介绍及标准进展 3 算网一体技术和标准展望 2 中国移动算力网络发展历程 中国移动充分发把握算力时代发展脉络，以网强算提出“算力网络”全新理念，两年来持续开拓创新，全力推进算力网络发展，在业界取得广泛共识，理念深入人心 算力网络是以算为中心、 网为根基，网、云、数、智、安、边、端、链 （ABCDNETS）等深度融合、提供一体化服务的新 型信息基础设施。 ——中国移动《算力网络白皮书》 发布新理念，融入新战略 •发布中国移动《算力网络白皮书》和发展倡议 •算力网络成为公司”1225“战略的重要组成 布局新体系，搭建新平台 •提出十大技术发展方向和核心技术体系 •发布算网服务体系1.0 •启动算力网络试验网CFITI •与中国算力网、信息高铁联合打造科学装置 开创新方向，打造新高峰 •融入国家战略性新兴产业计划 •发布“天穹”算网大脑、“百川”算力并网平台、NICC新型智算中心体系 •发布“321”终端算力产品体系 •开创东数西算、数据快递等任务式服务 •算力路由标准取得突破 •400G超长距离传输创世界纪录 •...... 5G 算力智慧 网络中台 3 “算网一体”是中国移动算力网络发展的深化 算力网络的发展经过三个阶段的发展，逐渐深化 起步阶段：泛在协同发展阶段：融合统一跨越阶段：一体内生 运营服务 编排管理基础设施 一站服务：一站开通算网服务协同运营：云网运营双入口拉通 协同编排网随算动 融合服务：产品融合、确定性服务统一运营：统一入口、统一平台 智能编排算网融合 一体服务：多层次智简无感服务模式创新：多方算力可信交易 2025~ 十五五阶段及更长期 智慧内生算网一体 2021-2023 十四五阶段 2024-2025 4 构建算网一体技术体系 面向新型算力应用极致需求，构建算网一体创新技术体系，助力实现高性能基础网络 传输层 广域高吞吐2 技术 数据安全加密协议 丢包精确重传机制 丢包快速恢复算法 新型拥塞控制算法 CATS1 算力路由技术 算力路由控制 算力路由转发 NACA4 在网计算 DTN3 算网数字孪生 全局管控调度 动态队列请求授权 报文容器转发及负载 网内缓存 网内推理 在网聚合 随路算力监控 随路算力需求 算力路由寻址 算力路由标识 算网调度 算力路由生成 算力状态通告 算力服务通告 链路层 物理层 网络层 广域高吞吐 算网数字孪生 在网计算 算力路由 突破互联网架构协议，距离向量叠加算力向量，整体优化算网资源 突破广域传输性能瓶颈，实现RDMA高效传输拉远，实 现算间高性能互联 最大限度兼容以太网，构建无阻塞、高带宽、低时延新型智算中心网络 打破算网边界，网络内生算力，实现计算任务跨网络节点分布式协同 5 算力路由的提出背景 2018年开始研究算网融合技术，面向云边协同和边边协同的“性能反转”等问题，提出在路由域引入计算信息进行联合调度 发现问题 云边以及边边调度之间出现“性能反转” 中心云 边缘节点 -计算负载高及网络队列深的条件下，边缘响应平均时延及尾时延远大于中心云 -算的负载状态以及网的拥塞情况均是问题来源 问题本质 计算和网络是独立系统，算的负载和网的拥塞信息没有产生关联 算：降低负载、计算资源预留... 造成大量计算资源的闲置 网：增加带宽、配置专线... 增加网络建设、运维成本 解决思路 在路由中引入计算信息，进行联合调度, （1）感知：路由系统感知计算资源 （2）路由：综合网络和计算信息寻址选路 边缘节点 通过仿真发现在路由中引入算力信息在低中重载情况下均有一定的优化效果。 在负载达到60%时，整体系统的算力可用容量提升33.17%，端到端平均时延提升35.29% 重载下CATS的QPS较好重载下CATS的时延比较低 提出算力感知网络CAN，发布系列白皮书 20192021 目录 1 算力路由的提出背景 2 算力路由技术及标准进展 1 2 技术进展 标准进展 3 算网一体技术和标准展望 7 算力路由的典型场景和技术分析 典型场景：AR/VR等新型计算和网络实时延敏感业务 AR/VR时延需要低于20ms保障用户体验，包括： •传感器采样延迟：＜1.5ms（客户端） •显示刷新延迟：≈7.9毫秒（客户端） •GPU的帧渲染计算延迟≈5.5ms（服务器） •网络延迟（预算）=20-1.5-7.9-5.5=5.1ms（网络） 观察1：计算延迟和网络延迟在同量级 •仅根据负载选择边缘站点1，总延迟≈22.4ms •仅根据网络选择边缘站点2，总延迟≈23.4ms •根据两者选择边缘站点3，总延迟≈19.4ms 观察2：仅根据网络或计算资源状态，找不到最佳服务器实例 结论：需要同时考虑网络和计算资源状态，将流量动态引导到适当的服务节点 IETF立项文稿：draft-ietf-cats-usecases-requirements 技术路径分析 1.当前缺乏将计算资源与网络状态相结合以决定最优路径和节点的方案。 2.现有的解决方案通常为off-path，如DNS、ALTO或L4/L7负载均衡，查询地址/状态的时延随着协议层的升高而升高! UpperL7 Scheduler 数据库查询 L7Scheduler 重定向 L4Scheduler L3CATS 随路调度 结论：算力路由将具备更高的性能 IETF文稿：draft-draft-yao-cats-gap-analysis 算力路由的技术挑战 算力路由需要解决“传什么”、“怎么传”以及“怎么用”等问题， 需设计自适应算力通告机制和新型多因子算路算法，实现算力和网络的联合优化 问题1：传什么？——算力扩展 算力信息维度较多，需要定义面向路由调度的高可用性计算信息，兼顾报文封装成本以及可用性 问题2：怎么传？——合理通告 通告频率越高，算力信息越实时，但开销越大，如何找到通告信令开销与信息实时性的平衡点 问题3：怎么用？——路由求解 在BGP距离矢量上叠加算力向量，改变了BGP选路方法，影响BGP路由决策。简单叠加将导致路由不收敛 技术需求：简单高效的算力信息封装 提出分域通告、分类通告，约束算力信息更新的范围，减少算力信息的无效通告 通过仿真建模量化分析算力信息通告信令开销的影响，得到通告信令开销与路由调度成功率的最优解 统一量纲，使用与网络和业务相同的度量维度信息，应用于路由调度，例如通过BGPPathAttribution扩展封装计算时延信息 技术需求：自适应的算力通告 构建算力路由信息表（CA-RIB），考虑距离因子、算力因子以及权重，生成算网cost=w1*网络cost+w2*算力cost 技术需求：新型算网多因子算路算法 关键技术1：算力度量 算力路由需要统一的度量标准，网络的度量目前已经比较成熟， 算力的度量还缺乏统一的标准，需要着重对算力资源、需求以及使用进行度量 为什么算力要度量算力度量的复杂性 网络需求 业务需求 带宽(bits/s) 时延(ms/us) 抖动(ms/us) 算力需求 ？缺乏统一标 准 算力分 类 技术实现 应用场景部署位置供方来源 算力规模 CPU、GPU、FPGA、ASIC 通用算力、AI算力、超算算力 云、边、端 私有、共有、共享算力 单芯片，单机，单框，CO，边缘DC，区域DC，中心DC，枢纽DC 算网度量的基本思路——面向不用目的的度量方法 ①面向应用部署：针对算力资源的度量——获取较为全面的、非实时的算力信息，例如节点类型、位置信息、内存大小等 ②面向任务调度：针对算力状态的度量——获取较为简单的实时算力信息，例如算力节点的实时评价信息、计算时延等 10 关键技术2：算力感知 感知是算力路由的前提，需要打通网络领域、计算领域、应用领域的信息边界，为算网一体化调度和编排管理提供基础 应用感知 算力资源感知 用户感知 多维资源感知配置和管理 网络资源感知 APP-ID APP参数信息 APP状态信息 •SLALevel •带宽 •服务状态 •应用ID •时延 •用户ID •丢包率 •流ID 01应用感知 02算力感知 计算资源信息 •CPU/GPU/NPU性能 •存储容量 •网络带宽 计算资源状态信息 •是否在线 •内容使用率 •当前连接数 网络性能 •时延抖动 •带宽 •丢包 网络资源信息 •设备位置 •设备型号 网络状态信息 •拓扑信息 •路由信息 •流量信息 03网络感知 •设计多维资源感知体系，基于BGP、IGP、Netconf等协议扩展探索算网一体感知和通告协议，支持从单一维度的感知向多维资源感知演进。 •搭建算力感知原型系统：依托算力网络试验网，在信息港初步完成功能验证，包括网侧因子、算侧资源因子和应用侧因子感知功能，实现云套餐 功能，智能化导航等功能。验证了算力感知方案的可行性和可实施性，具备了在省份进行试点的条件11 关键技术3：路由寻址 通过对算力资源/服务信息的感知，将算力信息引入路由域，在路由层直接决策并转发服务请求至目标服务节点，实现算力和网络的联合优化 ①资源和服务状态感知通告②算力感知路由生成与调优③算力路由调度与转发 路径 算力参数 网络参数 A->B->C xx xx A->D>C xx xx B->E->C xx xx E B AC 多维资源、服务状态感知和通告 网络节点 算力路由转发调度 应B 用算 需AC力 求 用节 户D算点力 节 点 算力信息感知：控制面协议扩展携带算力信息，生成并更新算力拓扑 业务需求感知：IPv6/SRV6扩展头中加入应用ID和SLA需求 算力路由信息表：在路由信息表中新增算力信息 算力感知的路由调优：基于感知的算力信息动态调整 算力路由转发：结合算力路由信息表和业务需求，动态、按需调度和转发SRv6结合：“算力+网络”可编程、路径可指定 同步探索Underlay和Overlay路线 •Overlay算力路由方案:基于应用层进行选路决策，从算、网、业务多目标开展联合优化，形成智能调度方案 •Underlay算力路由方案：研究从单一距离向量路由到算力、距离多要素叠加融合路由演进，基于IPv6/SRv6等协议进行继承性创新，形成新型路由和寻址机制 实践进展 算力路由系统的实现根据网络部署情况，支持集中式、分布式、混合式等多种组网方案。从集中式方案开始，分阶段逐步推进算力路由实验验证 4 总体测试方案 阶段I集中式方案 1 2 3 4 5 1 分布式： •完成算网控制器和算力路由网关原型样机开发，构建业内首个集中式算力路由验证系统 •推进广东珠海现网试点验证，验证业务承载量提升 30%以上，算网综合资源利用率提升32%以上 算网控制器 算力路由网关 3 集中式： 用户 阶段II端到端算力路由系统验证 •开展规模性部署的CATS技术方案验证 •开展CA-BGP等新型协议的验证测试 分布式算力感知 Restful 分布式网络感知 集中式算网一体感知集中式多策略调度 算网一体感知协议CA-BGP-LS 3 算力路由转发 BGP-LS TelemetryBGPSRv6 PolicyBGP-FS Netconf 2 4 5 5 CA-BGP CA-BGP 算力路由网关 应用APP 2 算力路由网关 1 云资源池 5 CA-BGP 算力路由网关 CA-BGP 应用APP 云资源池 算力路由网关 算力路由网关 算网控制器 云管理平台 •分布式算力路由样机已进入平台测试阶段 分布式算力路由样机 《算网一体技术体系关键技术创新案例》荣获CCSATC6102022年度“最佳实践案例” 《算力感知和算力路由构建算网一体化调度》荣获工信部2022年ICT优秀案例“卓越科技创新奖” 《算力感知和路由方案》通信