新型智算中心改造系列报告二：拉动全球电力消耗增长，液冷渗透率快速提升

证券研究报告|2024年7月4日 新型智算中心改造系列报告二： 拉动全球电力消耗增长，液冷渗透率快速提升 行业研究·行业专题计算机·人工智能 投资评级：优于大市（维持评级） 证券分析师：熊莉021-61761067 xiongli1@guosen.com.cnS0980519030002 联系人：艾宪0755-22941051 aixian@guosen.com.cn •能源测：智算中心电力消耗测算。1）单POD功率：以目前最常用的英伟达DGXH100计算集群（POD）为例，单POD（127节点）功率合计为1411.176kw，其中计算部分占比最高（为89.83%,即DGXH100服务器)，其次为计算用交换机（为5.72%）；2）单位算力能耗模型：以英伟达DGXH100服务器为例，假设利用率为80%，PUE为1.25，可知单台服务器对应智算中心功率消耗为11，112w，对应年度用电量为97,338KWh；TF32下单位petaFLOPS算力对应智算中心年度用电量为12，167Kwh，FP16下单位petaFLOPS算力对应智算中心年度用电量为6，084Kwh；3）对全球电力影响：根据华为GIV发布的《智能世界2030》预测，预计2030年全球AI算力将超过105ZFLOPS（FP16），对应每年638.82太瓦时用电量，以22年为基年，额外带来2.4%的全球用电增量。 •供电侧：多种配电方案并存。目前主流的供电方案包括交流UPS架构、高压直流架构、机架式直流架构，智能算力（单一服务器加装8张GPU算力卡）带来高功率需求，对供电侧零部件提出更高要求。 •冷却侧：液冷将替代传统风冷方案。1）国内液冷渗透率将进入加速期：AI算力芯片功率持续提升，设备功率密度接近风冷极限，同时叠加智算中心PUE考核趋紧，24年国内液冷渗透率将进入加速期；2）液冷市场规模快速增长：据中商产业研究院披露数据，预计24年中国液冷服务器市场规模将达到201亿人民币，预计27年将增长至682亿人民币，对应24-27年CAGR为50.3%，市场规模快速增长。 •投资建议：随着中国智能人工智能算力的快速发展，将拉动全社会用电量的增长；根据我们测算，FP16精度下智算中心单PetaFLOPS算力对应1年耗电量为6,084Kwh（以英伟达DGXH100服务器为例），若替换成国产算力芯片，单PetaFLOPS耗电量仍将提升（受制于芯片制程）；同时，智能算力（单一服务器加装8张GPU算力卡）带来高功率需求，对配电侧提出更高要求，建议关注虚拟电厂和配网侧方向，重点关注朗新集团、国网信通。 •风险提示：宏观经济波动、互联网及运营商资本开支不及预期、美国继续收缩对华算力芯片出口政策、国产算力卡研发进展不及预期险等。 01 能源侧：智算中心电力消耗测算 02 供电侧：多种配电方案并存 03 冷却侧：液冷将替代传统风冷方案 04 案例研究：新型绿色智算中心分析 05 投资建议及风险提示 •服务器机柜内：主要包括GPU、CPU、内存（RAM）、硬盘（HardDrive）、网络交换机（NetworkSwitch）、配电单元（PDU）等； •服务器机柜外：主要包括供电系统（功率转化器、功率分配器等）、冷却系统（制冷机、冷却塔、气/水分配系统）、安全及监控系统、网络系统（连接件）等。 图1：服务器机柜内主要包括CPU、GPU、存储、硬盘、交换机、电源分配单元 资料来源：Konstantin等著-《ComputeatScale-Abroadinvestigationintothedatacenterindustry》 -ArXiV（2023）-P5，国信证券经济研究所整理 图2：服务器机柜外部包括供电系统、冷却系统、安全及监控系统、网络系统 资料来源：Konstantin等著-《ComputeatScale-Abroadinvestigationintothedatacenterindustry》 -ArXiV（2023）-P6，国信证券经济研究所整理 •单一POD（集群）组成：由服务器（例如英伟达DGX系统）、InfiniBand和以太网络、管理节点（ManagementNode/ManagementRacks）、存储（Storage）、电缆桥架（CableTray）、冷通道（ColdAisleContainment）、跨桥通道（AisleCrossingBridge）组成； 图3：单一Pod（集群）结构 资料来源：《NVIDIADGXSuperPODDataCenterDesign》，国信证券经济研究所整理 图4：英伟达典型单一SU组成 资料来源：《NVIDIADGXSuperPODDataCenterDesign》，国信证券经济研究所整理 •单个SU架构：由8个服务器机柜组成，每个服务器机构中放置4台DGXH100服务器（包含8颗H100GPU芯片）和3个配电单元（PDU），即单一SU包含32台DGXH100服务器（对应256颗H100芯片）和24个配电单元（PDU）； •管理机柜（ManagementRack）：包含网络交换机、管理服务器、存储阵列（StorageArray）和UFM控制器（UnifiedFabricManager）；以英伟达管理机柜为例，其包含32个QM9700ComputeLeaves、16个QM9700ComputeSpines、2个ComputeUFMs、6个SN4600cIn-BandLeaves、2个SN4600cIn-BandLeaves、4个BCMNodes、8个QM9700StorageLeaves、4个QM9700StorageSpines、8个SN2201Outof-BandLeaves。 图5：英伟达单个SU（ScalableUnit）架构 资料来源：《NVIDIADGXSuperPOD:NextGenerationScalableInfrastructureforAILeadership》，国信证券经济研究所整理 图6：英伟达管理机柜（ManagementRack）架构 资料来源：《NVIDIADGXSuperPOD:NextGenerationScalableInfrastructureforAILeadership》，国信证券经济研究所整理 •单个POD（集群）网络结构（NetworkFabrics）通常包括计算网络、存储网络、In-Band管理网络、Out-of-Band管理网络。 •计算网络（ComputeFabrics)：主板中间的4个OSFD端口留给计算网络，每个端口直连到2颗Connect-7X卡（共计8×400Gb/s端口）； •存储网络（StorageFabrics）：主板两侧各1个QSFP单向存储端口，连接内部ConnectX-7card； •In-Band管理网络（In-BandManagementNetwork）：主板两侧各1个In-Band管理端口，连接内部ConnectX-7card； •Out-of-Band管理网络（Out-of-BandManagementNetwork）：主板中间下部1个Out-of-Band管理端口（1GbERJ-45端口）； 图7：英伟达DGXH100网络端口（服务器背面） 资料来源：《NVIDIADGXSuperPOD:NextGenerationScalableInfrastructureforAILeadership》、英伟达，国信证券经济研究所整理 •计算网络：AI大模型的训练，通常需要多个GPU协同工作，计算网络可实现数据跨GPU计算； •计算网络层数：通常POD（集群）计算网络可包含三层交换机，分别是Leaf交换机、Spine交换机和Core交换机；在英伟达127节点计算网络中，仅使用两层交换机（Leaf和Spine，型号为MellanoxQM9700），且每个SU中有8台交换机和32台DGXH100服务器，则每台服务器应和8台交换机相连，而如前文所述，单台服务器背面仅4个800GOSFP端口（用于计算网络），则需要在端口接入光模块后，通过拓展端口将1个OSFP端口拓展成2个QSFD端口，进而实现连接。 图8：127节点计算网络（ComputeFabrics）架构 资料来源：《NVIDIADGXSuperPOD:NextGenerationScalableInfrastructureforAILeadership》，国信证券经济研究所整理 表1：计算网络节点测算 SU数量 节点数量 GPU数量 InfiniBandSwitch数量 电缆Count LeafSpine Compute+Spine-UFMLeaf 1 31 248 8 4 252 256 2 63 504 16 8 508 512 3 95 760 24 16 764 768 4 127 1016 32 16 1020 1024 资料来源：《NVIDIADGXSuperPOD:NextGenerationScalableInfrastructureforAILeadership》，国信证券经济研究所整理（注：通常需要1个服务器用于UFM连接，所以1个SU对应31个节点） •存储网络：英伟达SuperPOD使用InfiniBand网络（每节点I/O速率要超过40GBps），以满足服务器集群共享存储的需要； •存储网络层数：A100和H100超级集群均采用两层交换机，以140节点的A100超级集群存储网络为例，共使用26台交换机（包括18台leaf交换机和8台Spine交换机）。 图9：140节点存储网络（StorageFabrics）架构-DGXSuperPOD-A100 资料来源：《NVIDIADGXSuperPOD:ScalableInfrastructureforAILeadership》，国信证券经济研究所整理 SU数量 节点数量 存储端口 QM8790Switches数量 电缆 LeafSpine To-Node To-Storage Spine 1 20 24 4 2 40 36 64 2 40 40 6 4 80 52 96 3 60 40 8 4 120 52 128 4 80 56 12 8 160 68 192 6 120 80 16 8 240 92 256 7 140 80 18 8 280 92 288 表2：DGXSuperPOD-A100存储网络交换机和线缆数测算 资料来源：《NVIDIADGXSuperPOD:ScalableInfrastructureforAILeadership》，国信证券经济研究所整理 图10：存储网络架构（StorageFabrics）架构-DGXSuperPOD-H100 资料来源：《NVIDIADGXSuperPOD:NextGenerationScalableInfrastructureforAILeadership》，国信证券经济研究所整理 图11：MQM9700-NS2F交换机 资料来源：《NVIDIADGXSuperPOD:NextGenerationScalableInfrastructureforAILeadership》，国信证券经济研究所整理 •In-Band管理网络（In-BandManagementFabrics）：In-Band管理网络连接计算节点和管理节点（基于以太网），主要为集群提供以下功能：1）连接管理集群的所有服务；2）管控集群中节点访问主文件系统和存储池；3）连接集群内外服务（集群内服务：BaseCommondManager、Slurm等；集群外服务：NGC登记、代码仓库、数据资源等）。以DGXSuperPOD-A100In-Band管理网络架构为例，140个节点对应8台交换机（6台Leaf交换机、2台Spine 交换机）。 图12：2个SU的In-Band管理网络架构-DGXSuperPOD-A100 资料来源