总结
大语言模型(LLM)的参数规模持续增长,对网络带宽和延迟提出更高要求,推动超节点成为AI算力网络的重要创新方向。超节点通过Scale up网络实现数十至千张GPU的高速互联,满足分布式训练和推理需求。目前主流互联方案包括铜缆互联(如英伟达NVL72超节点)和光纤互联(如华为CloudMatrix384超节点),前者成本和功耗较低但规模受限,后者规模更大但成本和故障率较高。
英伟达在超节点领域处于领先地位,其NVLink和NVLink Switch技术为核心。NVLink采用网状拓扑和差分信号传输等技术,实现GPU间高速直接通信;NVLink Switch提供多端口交换能力,支持Clos网络架构。英伟达超节点发展历程如下:
- Hopper架构(GH200):初步探索超节点Scale up,通过NVLink和NVLink-C2C技术实现GPU与CPU内存统一编址。
- Blackwell架构(GB200/GB300 NVL72):将Scale up规模稳定在72个GPU/机柜,采用铜缆互联,总交换容量129.6TB/s。GB200 NVL72提供180PFLOP算力,总内存容量13.8TB,内存带宽576TB/s,机柜尺寸1068x600x2495mm,重约1.36吨,功耗145KW。
- Rubin架构(VR200 NVL72):2026年发布,延续GB200 NVL72工程技艺,总交换容量翻倍至259.2TB/s,NVLink 6 Switch实现单GPU互连带宽3.6TB/s,CPU-GPU互联速率提升至1.8TB/s。
英伟达计划推出Vera Rubin NVL144和Rubin Ultra NVL576,互联GPU数将从72颗扩展至576颗,并引入NVLink Switch Blade和PCB中板等技术,进一步降低铜缆数量。
然而,Scale up网络的发展受限于LLM训练和推理中的张量并行(TP)和专家并行(EP)规模。为保持领先优势,英伟达可能需要探索Scale up网络与Scale out网络的融合方案。
全球超节点竞争格局尚未确立,除英伟达外,微软、Meta、Amazon、中国移动、阿里巴巴、腾讯、百度、中科曙光、中兴通讯、浪潮信息、紫光股份(新华三)、沐曦股份、恒为科技等厂商也加入竞争。建议关注英伟达超节点供应链、发布国产超节点的中国厂商以及国内交换机供应商和芯片研发商。
风险提示包括LLM训练与推理技术路径变化、超节点互联方案不确定性、英伟达超节点出货量低于预期以及AI应用端增长不及预期。