新型智算中心改造系列报告二：拉动全球电力消耗增长，液冷渗透率快速提升

请务必阅读正文之后的免责声明及其项下所有内容证券研究报告 | 2024年7月4日新型智算中心改造系列报告二：拉动全球电力消耗增长，液冷渗透率快速提升行业研究 · 行业专题 计算机 · 人工智能投资评级：优于大市（维持评级）证券分析师：熊莉021-61761067xiongli1@guosen.com.cnS0980519030002联系人：艾宪0755-22941051aixian@guosen.com.cn 请务必阅读正文之后的免责声明及其项下所有内容摘要•能源测：智算中心电力消耗测算。1）单POD功率：以目前最常用的英伟达DGX H100计算集群（POD）为例，单POD（127节点）功率合计为1411.176kw，其中计算部分占比最高（为89.83%,即DGX H100服务器)，其次为计算用交换机（为5.72%）；2）单位算力能耗模型：以英伟达DGX H100服务器为例，假设利用率为80%，PUE为1.25，可知单台服务器对应智算中心功率消耗为11，112w，对应年度用电量为97,338KWh；TF32下单位petaFLOPS算力对应智算中心年度用电量为12，167 Kwh，FP16下单位petaFLOPS算力对应智算中心年度用电量为6，084 Kwh；3）对全球电力影响：根据华为GIV发布的《智能世界2030》预测，预计2030年全球AI算力将超过105ZFLOPS（FP16），对应每年638.82太瓦时用电量，以22年为基年，额外带来2.4%的全球用电增量。•供电侧：多种配电方案并存。目前主流的供电方案包括交流UPS架构、高压直流架构、机架式直流架构，智能算力（单一服务器加装8张GPU算力卡）带来高功率需求，对供电侧零部件提出更高要求。•冷却侧：液冷将替代传统风冷方案。1）国内液冷渗透率将进入加速期：AI算力芯片功率持续提升，设备功率密度接近风冷极限，同时叠加智算中心PUE考核趋紧，24年国内液冷渗透率将进入加速期；2）液冷市场规模快速增长：据中商产业研究院披露数据，预计24年中国液冷服务器市场规模将达到201亿人民币，预计27年将增长至682亿人民币，对应24-27年CAGR为50.3%，市场规模快速增长。•投资建议：随着中国智能人工智能算力的快速发展，将拉动全社会用电量的增长；根据我们测算，FP16精度下智算中心单PetaFLOPS算力对应1年耗电量为6,084Kwh（以英伟达DGX H100服务器为例），若替换成国产算力芯片，单PetaFLOPS耗电量仍将提升（受制于芯片制程）；同时，智能算力（单一服务器加装8张GPU算力卡）带来高功率需求，对配电侧提出更高要求，建议关注虚拟电厂和配网侧方向，重点关注朗新集团、国网信通。•风险提示：宏观经济波动、互联网及运营商资本开支不及预期、美国继续收缩对华算力芯片出口政策、国产算力卡研发进展不及预期险等。 请务必阅读正文之后的免责声明及其项下所有内容能源侧：智算中心电力消耗测算01供电侧：多种配电方案并存02目录冷却侧：液冷将替代传统风冷方案03案例研究：新型绿色智算中心分析04投资建议及风险提示05 请务必阅读正文之后的免责声明及其项下所有内容智算中心：服务器机柜内外组成结构•服务器机柜内：主要包括GPU、CPU、内存（RAM）、硬盘（Hard Drive）、网络交换机（Network Switch）、配电单元（PDU）等；•服务器机柜外：主要包括供电系统（功率转化器、功率分配器等）、冷却系统（制冷机、冷却塔、气/水分配系统）、安全及监控系统、网络系统（连接件）等。图1：服务器机柜内主要包括CPU、GPU、存储、硬盘、交换机、电源分配单元资料来源：Konstantin等著-《Compute at Scale - A broad investigation into the data center industry》-ArXiV（2023）-P5，国信证券经济研究所整理图2：服务器机柜外部包括供电系统、冷却系统、安全及监控系统、网络系统资料来源：Konstantin等著-《Compute at Scale - A broad investigation into the data center industry》-ArXiV（2023）-P6，国信证券经济研究所整理 请务必阅读正文之后的免责声明及其项下所有内容智算中心：单一POD（集群）拆解-外部•单一POD（集群）组成：由服务器（例如英伟达DGX系统）、InfiniBand和以太网络、管理节点（Management Node/Management Racks）、存储（Storage）、电缆桥架（Cable Tray）、冷通道（Cold Aisle Containment）、跨桥通道（Aisle Crossing Bridge）组成；图3：单一Pod（集群）结构资料来源：《NVIDIA DGX SuperPOD Data Center Design》，国信证券经济研究所整理图4：英伟达典型单一SU组成资料来源：《NVIDIA DGX SuperPOD Data Center Design》，国信证券经济研究所整理 请务必阅读正文之后的免责声明及其项下所有内容智算中心：单一POD（集群）拆解-内部•单个SU架构：由8个服务器机柜组成，每个服务器机构中放置4台DGX H100服务器（包含8颗H100 GPU芯片）和3个配电单元（PDU），即单一SU包含32台DGX H100服务器（对应256颗H100芯片）和24个配电单元（PDU）；•管理机柜（Management Rack）：包含网络交换机、管理服务器、存储阵列（Storage Array）和UFM控制器（Unified Fabric Manager）；以英伟达管理机柜为例，其包含32个QM9700 Compute Leaves、16个QM 9700 Compute Spines、2个Compute UFMs、6个SN4600c In-Band Leaves、2个SN4600c In-Band Leaves、4个BCM Nodes、8个QM9700 Storage Leaves、4个QM9700 Storage Spines、8个SN2201 Out of-Band Leaves。图5：英伟达单个SU（Scalable Unit）架构资料来源：《NVIDIA DGX SuperPOD: Next Generation Scalable Infrastructure for AI Leadership》，国信证券经济研究所整理图6：英伟达管理机柜（Management Rack）架构资料来源：《NVIDIA DGX SuperPOD: Next Generation Scalable Infrastructure for AI Leadership》，国信证券经济研究所整理 请务必阅读正文之后的免责声明及其项下所有内容单一POD（集群）网络结构（Network Fabrics）•单个POD（集群）网络结构（Network Fabrics）通常包括计算网络、存储网络、In-Band管理网络、Out-of-Band管理网络。•计算网络（Compute Fabrics)：主板中间的4个OSFD端口留给计算网络，每个端口直连到2颗Connect-7X卡（共计8×400Gb/s端口）；•存储网络（Storage Fabrics）：主板两侧各1个QSFP单向存储端口，连接内部ConnectX-7 card；•In-Band管理网络（In-Band Management Network）：主板两侧各1个In-Band管理端口，连接内部ConnectX-7 card；•Out-of-Band管理网络（Out-of-Band Management Network）：主板中间下部1个Out-of-Band管理端口（1GbE RJ-45端口）；图7：英伟达DGX H100网络端口（服务器背面）资料来源：《NVIDIA DGX SuperPOD: Next Generation Scalable Infrastructure for AI Leadership》、英伟达，国信证券经济研究所整理 请务必阅读正文之后的免责声明及其项下所有内容单一POD（集群）网络结构-计算网络•计算网络：AI大模型的训练，通常需要多个GPU协同工作，计算网络可实现数据跨GPU计算；•计算网络层数：通常POD（集群）计算网络可包含三层交换机，分别是Leaf交换机、Spine交换机和Core交换机；在英伟达127节点计算网络中，仅使用两层交换机（Leaf和Spine，型号为Mellanox QM9700），且每个SU中有8台交换机和32台DGX H100服务器，则每台服务器应和8台交换机相连，而如前文所述，单台服务器背面仅4个800G OSFP端口（用于计算网络），则需要在端口接入光模块后，通过拓展端口将1个OSFP端口拓展成2个QSFD端口，进而实现连接。图8：127节点计算网络（Compute Fabrics）架构资料来源：《NVIDIA DGX SuperPOD: Next Generation Scalable Infrastructure for AI Leadership》，国信证券经济研究所整理表1：计算网络节点测算资料来源：《NVIDIA DGX SuperPOD: Next Generation Scalable Infrastructure for AI Leadership》，国信证券经济研究所整理（注：通常需要1个服务器用于UFM连接，所以1个SU对应31个节点）SU数量节点数量GPU数量InfiniBand Switch数量电缆CountLeafSpineCompute+UFMSpine-Leaf13124884252256263504168508512395760241676476841271016321610201024 请务必阅读正文之后的免责声明及其项下所有内容单一POD（集群）网络结构-存储网络•存储网络：英伟达SuperPOD使用InfiniBand网络（每节点I/O速率要超过40GBps），以满足服务器集群共享存储的需要；•存储网络层数：A100和H100超级集群均采用两层交换机，以140节点的A100超级集群存储网络为例，共使用26台交换机（包括18台leaf交换机和8台Spine交换机）。图9：140节点存储网络（Storage Fabrics）架构-DGX SuperPOD-A100资料来源：《NVIDIA DGX SuperPOD: Scalable Infrastructure for AI Leadership》，国信证券经济研究所整理图10：存储网络架构（Storage Fabrics）架构-DGX SuperPOD-H100资料来源：《NVIDIA DGX SuperPOD: Next Generation Scalable Infrastructure for AI Leadership》，国信证券经济研究所整理SU数量节点数量存储端口QM8790 Switches数量电缆LeafSpineTo-NodeTo-StorageSpine1202442403664240406480529636040841205212848056128160681926120801682409225671408018828092288表2：DGX SuperPOD-A100存储网络交换机和线缆数测算资料来源：《NVIDIA DGX SuperPOD: Scalable Infrastructure for AI Leadership》，国信证券经济研究所整理图11： MQM9700-NS2F交换机资料来源：《NVIDIA DGX SuperPOD: Next Generation Scalable Infrastructure for AI Leadership》，国信证