UPN512技术架构白皮书v1.0

核心观点

• AI基础设施网络趋势：随着人工智能（AI）的快速发展，大规模模型训练和推理对计算和内存的需求呈指数级增长。高性能网络成为提升计算吞吐量、缩短训练时间和提高推理效率的关键，AI集群规模通过高性能网络扩展，加速器（xPU）数量从数万增长到数十万。
• AI基础设施网络演进挑战：AI基础设施网络面临以下趋势和挑战：
  • 从密集到MoE架构：混合专家（MoE）架构成为趋势，需要超高性能网络（超高带宽和超低延迟）支持专家并行（EP）。
  • 从预训练到统一训练-推理：工作负载从预训练转向统一训练-推理，网络需要支持线上和线下流量共存，以及不同并行模式和计算强度的工作负载分离。
  • xPU规模提升：为满足不断增长的计算需求，超大规模集群需要超高带宽、超低延迟的扩展互连技术。
• xPU扩展网络挑战：当前xPU扩展网络主要使用铜互连，但铜互连距离有限，高密度设计会显著增加系统复杂性、挑战可靠性并限制可扩展性。未来需要采用光互连技术，但光互连面临成本和可靠性挑战。
• UPN架构概述：阿里云提出UPN（超性能网络）扩展系统，继承HPN（高性能网络）扩展网络的设计原则，并应用“大规模、高性能、高可靠性、低成本和可扩展”的设计理念，实现xPU扩展网络与高密度“主机系统”的解耦。
• UPN512系统设计：UPN512采用单层光互连架构，使用LPO（线性驱动插拔光模块）或NPO（近封装光模块）实现，以降低成本和提高可靠性。UPN512系统设计包括：
  • AI机架：采用紧密耦合的铜互连，但存在制造、功耗和散热等工程挑战。
  • UPN512：采用单层光互连，形成512 xPU的Clos网络，实现独立、机架式设备，降低对机架设计的依赖。
  • 光互连概述：UPN架构采用LPO和NPO技术，LPO具有插拔式、低成本等优点，NPO具有更高带宽密度和更低成本等优点，两者可互补使用。
  • 通信语义：UPN512定义三种低延迟通信语义：内存语义（Load/Store）、消息语义（Send/Recv）和张量语义（Push/Pull），其中张量语义针对大型模型应用进行优化。
  • 网络内计算：UPN架构支持网络内计算，通过专用计算引擎和协议支持，加速集体通信，降低计算资源消耗。

关键数据

• MoE模型专家数量从8增长到384。
• NVIDIA GPU扩展互连带宽从A系列到B系列增长约3倍，Blackwell系列GPU达到1.8 TB/s（双向）。
• LPO模块成本比传统FRO模块降低约30%。
• NPO模块成本比LPO模块降低约10%。
• LPO/NPO技术使光互连成本降低30%至40%。
• LPO模块在阿里云规模部署一年，稳定性接近铜缆水平。

研究结论

• 光互连是xPU扩展网络的必然选择，但面临成本和可靠性挑战。
• LPO和NPO技术可有效降低光互连成本和提高可靠性，两者可互补使用。
• UPN架构通过单层光互连、解耦设计和网络内计算等技术，实现大规模、高性能、高可靠性、低成本和可扩展的xPU扩展网络。