AI大模型跨域训练池化调度技术体系白皮书总结
一、背景与概念
AI大模型训练需要海量算力资源，随着模型参数规模扩大，集中式训练面临技术、能源等多方面挑战，跨域训练成为必然趋势。DeepSeek开源后，通用大模型向开源路线转变，企业大模型兴起，其参数规模相对较小，更适用于“异属、异构、异地”资源的池化调度。
二、技术路线分析
业界现有跨域训练技术主要面向通用大模型，采用“专用算力拉远”模式，即点对点连接特定智算中心，实现单集群本地训练的环境复刻。而企业大模型后训练更适合“全局池化调度”模式，通过“广域确定性网络+智算资源并网+算网协同调度”三位一体架构，实现“异属合训、异构混训、异地同训”。
三、AI大模型跨域训练池化调度
3.1 总体架构
技术体系分为业务层、管控层、资源层三大层级。业务层负责接收训练任务并转化为标准化描述；管控层实现跨域资源统一管理与池化调度、大模型作业拆分与部署；资源层整合异构计算资源，提供可预期的算力支持。
3.2 计算通信重叠的跨域训练框架
通过计算与通信重叠流水线、非阻塞GPU通信及流水并行通信量优化等技术，降低跨域通信对带宽的依赖，提升训练效能。
3.3 跨广域的算网存协同调度
管控层通过协同调度、任务调度、数据调度、流量调度，实现跨域资源的统一管理与池化调度；资源层整合异构智算资源、长距RDMA、光电融合确定性广域网，构建跨域资源底座。
3.4 异属异构智算资源池化并网
通过逻辑并网和物理并网，实现算力资源在账号、监测、调度、计量等功能方面接入平台，以及算力资源与网络资源的组网连接，实现算力资源的可达、可用。
3.5 光电融合广域确定性网络
通过底层全光互联实现大容量长距离广域传输，融合光电域的多资源维度与全颗粒调度能力，实现资源池化并提供弹性化承载通道，构建面向分组的端到端确定性传输能力。
四、关键技术创新与突破
4.1 异构混训
4.1.1 基于算力特征的模型分层拆解
构建异构GPU算力量化评估体系，分析Transformer架构层特性，设计异构感知分层拆解算法，实现异构GPU混训的优化调度。
4.1.2 自适应训练任务运行时配置
动态匹配合适的镜像和配置文件，提高模型训练的效率和资源利用率。
4.2 异地同训
4.2.1 计算通信重叠的流水线并行
通过计算与通信重叠执行，降低对GPU服务器之间网络带宽、延迟的要求，提升大模型训练效率以及GPU算力利用率。
4.2.2 高效非阻塞GPU通信技术
通过内存作为数据中转枢纽，实现计算与通信的数据隔离，避免资源争抢导致的通信时间增加。
4.2.3 面向大模型跨域训练的算网协同调度
对大模型训练作业的通信需求、网资源拓扑进行建模，通过算网协同调度选择成本最低的算力集群组合以及与之适配的大模型训练作业拆分方案。
4.2.4 跨域训练RDMA加速网关
通过拥塞控制和精细化的报文处理与会话管理机制加速RDMA通信，实现大带宽低时延的RDMA操作。
4.2.5 网络状态感知的负载均衡
设计大模型跨域训练RDMA流量负载均衡方案，适配高流量跨域通信场景，实现流量在多个网关间的负载均衡。
4.2.6 广域RDMA通信代理技术
设计广域网环境下分段RDMA通信链路建立方法，将RDMA连接分成三段，实现跨域通信。
4.2.7 跨域RoCEv2通信自适应机制
设计适应复杂广域网的跨域RoCEv2流量传输方式和带宽的自适应机制，提高RoCEv2传输效率。
4.2.8 拓扑感知的Rank号规划
设计面向大模型跨广域训练的RANK号分配与管理方法，以满足大模型通过广域网跨集群训练的场景。
4.3 异属合训
4.3.1 多队列排队协作技术
构建跨域多任务队列协调器，协调多队列作业调度，实现跨域作业同步运行。
4.3.2 多队列联合抢占技术
设计跨域多异属队列联合抢占与被抢占同步方法，实现跨域多集群场景下作业抢占的协同。
4.3.3 RDMA网络虚拟化
提出异属RDMAoverVxLAN技术方案，构建兼顾严格隔离与高效传输的跨域通信机制。
五、验证与评估
5.1 试验环境
试验环境由异属异构异地三个算力集群和一个总控集群组成。
5.2 测试验证
通过多组实验验证了异属算力集群协同训练能力、广域确定性网络传输能力、异属算力与广域网络协同调度能力、计算与通信重叠的流水线并行训练能力、异构算力芯片混合训练能力、基于算网协同的多流水线跨域训练能力。
六、总结与展望
大模型跨域训练池化调度技术体系以破解算力资源的“异属异构异地”三大核心挑战为目标，构建了覆盖业务层、管控层、资源层的全栈式技术架构，实现了跨地域、跨主体异构算力的高效整合与动态协同。未来将持续以“全国一台计算机”为目标愿景，实现算力泛在化、效率本地化与生态开放化，最终实现多方利益共赢。
