黄坚：大规模智算集群的管理与性能调优实践

大规模智算集群的痛点问题与运维管理方案

大规模智算集群的痛点问题

• 大模型分布式训练特点：计算密度大、显存要求高、通信占比大。
• 算力标准化程度高。
• 智算集群工程化交付挑战：
  • 挑战1：智算业务与底层算力高耦合。
  • 挑战2：故障发现及性能调优无法依托单一指标。
  • 挑战3：百万器件管理复杂度高。

运维及管理实战思路和方案

• 集群性能管理：
  • 单机配置正确性检查：CUDA/CANN版本、NCCL/HCCL版本、pytorch版本、加速卡驱动、网卡驱动等。
  • 集群软硬件一致性：加速卡驱动、网卡驱动、内核版本、操作系统、CPU配置、内存配置等。
  • 健康检查：加速卡健康检查、HBM健康检查、RDMA端口状态、网络连通性等。
• 集群稳定性保障：
  • 算力网络拓扑展示：训练任务告警拓扑、服务器/交换机告警染色。
  • 训中观测-核心指标解析：power_usage、gpu_utilization、sm_active、tensor_active、fp64_active、fp32_active、fp16_active等。
  • 多维度性能基线：集合通讯基线、模型训练基线、RDMA网络吞吐基线。
• 智算工程关注点：
  • 数万卡集群的算力加速。
  • 百万级元器件的故障快速恢复。

云骁智算平台及落地实践

• 云骁智算平台能力：集“异构计算+高速存储+无损网络+算力加速+高效运营”五大能力于一体，提供高性能算力底座、计算加速、故障诊断等服务。
• 集群稳定性保障：提供集群管理功能，确保稳定性。
• 国产化之路：覆盖算力、存储、网络、平台各层次，可支撑大模型训练推理的全国产智算基础设施平台，国内最早提供大模型训练用昇腾算力的云服务商。
• 智算工程关注点：数万卡集群的算力加速、百万级元器件的故障快速恢复。

智算平台未来展望

• 未在原文中详细展开，但可推测未来将进一步提升算力管理效率和故障恢复能力。