AI数据中心网络基础设施评估
AI重塑数据中心
人工智能（AI）和机器学习（ML）工作负载对数据中心提出了新的要求，需要高速互连网络支持数千个GPU和xPU，以实现高效训练万亿参数模型。网络性能成为AI基础设施的关键瓶颈，要求低延迟、高吞吐量和无损通信。
AI工作负载的关键网络概念
AI工作负载具有独特的流量模式，依赖集合通信库（CCL）进行高效数据交换和同步，主要包括：
- 集合通信库（CCL）：如NVIDIA NCCL，优化多GPU与多节点通信，支持AllReduce、AlltoAll等操作。
- RingAllReduce：分布式算法，通过归约分散和全收集阶段实现梯度平均。
- AlltoAll：每个处理器与其他所有处理器交换数据，NVIDIA NCCL 2.12引入PXN功能优化消息路径。
- 双二叉树：提供满带宽和对数级延迟，低于2D环的延迟。
- Halving Doubling：结合ReduceScatter和AllGather，通过递归向量折半/倍增和距离倍增/折半实现高效通信。
基于融合以太网的RDMA第2版（RoCEv2）
RoCEv2通过标准以太网实现低延迟、高带宽的远程直接内存访问（RDMA），支持跨第3层网络路由，适用于大型、多机架甚至多站点部署。关键特性包括：
- 拥塞控制机制：利用IP ECN位进行拥塞标记，使用拥塞通知数据包（CNP）进行确认和流量调节。
- 数据中心量化拥塞通知（DCQCN）：成倍降低传输速率，逐渐提高速率，防止网络拥塞和数据包丢失。
- 优先级流量控制（PFC）：通过暂停每个优先级类别的流量防止第2层数据包丢失。
常见AI测试挑战
AI训练流量与传统网络流量的差异带来独特挑战：
- 同步数据爆发：密集的数据流可能导致网络缓冲区和队列过载。
- 东西向流量主导：AI训练涉及GPU或xPU之间大量横向数据移动，对交换结构提出高要求。
- 拥塞管理：优化PFC和DCQCN配置，防止数据包丢失和训练延迟。
- 服务质量（QoS）配置：错误的VLAN标记、队列映射或缓冲区分配会降低性能。
- 根因定位：AI工作负载的规模和相互依赖性使问题诊断复杂化。
揭示AI网络健康状况的统计数据
关键指标包括：
- 数据包丢失：表示训练更新失败。
- 作业完成时间（JCT）：反映训练工作负载的整体速度与效率。
- 尾部延迟：最坏情况下的延迟，显著影响训练速度。
- 丢弃的数据包计数和重新排序的数据包：突出拥塞问题或ECMP路由行为问题。
- Tx/Rx速率偏差：识别未充分利用的链路和流量不平衡。
- ECN、CNP和PFC活动：提供流量控制操作的基本洞察。
TestCenter AI测试解决方案概述
TestCenter支持高密度、多速率的性能测试，模拟真实AI工作负载：
- 设备支持：A1和B3系列高速以太网设备，支持RoCEv2和CCL模式流量。
- 功能特性：内置RoCEv2特性支持（DCQCN、ECN、CNP），自动化框架，支持多帧大小、数据大小、端口速率和流量模式。
- 应用场景：模拟东西向AI流量模式，压力测试网络，验证流量控制机制。
实现可靠、可扩展的AI数据中心运营
通过模拟AI流量模式、测量作业完成时间、数据包丢失和尾部延迟，识别瓶颈、验证配置并优化性能。将流量仿真、性能基准测试和流级分析集成到开发和测试流程中，降低部署风险，提供满足AI规模计算需求的基础设施。
