人工智能行业点评：基于英伟达GH200方案的光模块需求弹性测算

事项： 5月29日，英伟达在COMPUTEX2023展前发布会上，正式发布了全新的GH200 Grace Hopper超级芯片，以及基于NVIDIA NVLink SwitchSystem驱动的拥有256个GH200超级芯片的NVIDIA DGXGH200超级计算机，重点面向开发生成式AI语言应用、推荐系统和数据分析工作负载的下一代模型。 国信通信观点：我们从硬件基础设施角度，结合英伟达GH200最新官方指导文件，得到以下几个重要结论： （1）GH200采用两层网络结构，GPU：800G光模块需求比例=1：10.5（2）GH200单卡提供算力处理能力是H100的2倍，同等算力要求下，GH200的800G光模块用量是H100架构两倍以上，800G光模块需求得到明显提升。 投资建议：以Chatgpt为代表的AI应用正在得到快速发展，并进行着快速迭代，进而有希望形成赋能多行业的多样化新型应用落地，而以英伟达为代表的GPU厂商通过不断产品迭代推动网络架构升级，GH200更是带来更多800G光模块增量需求。建议重点关注；光模块及光器件、光芯片环节【中际旭创】、【天孚通信】、【新易盛】、【光库科技】、【博创科技】；国内ICT领先企业【紫光股份】、【浪潮信息】、【锐捷网络】、【中兴通讯】、【菲菱科思】；IDC温控企业【英维克】、【申菱环境】；IDC电源端企业：【科华数据】、【科士达】；第三方IDC【奥飞数据】等；同时建议关注【源杰科技】、【长光华芯】、【腾景科技】、【太辰光】、【同飞股份】、【佳力图】等。 评论： 英伟达GH200：计算和通信性能全面提升 根据英伟达GH200发布会信息，GH200超级芯片采用了创新方案，其中使用NVLINKC2C技术将NVVIDIAGrace CPU和NVIDIA H100 Tensor GPU整合在一个模块上。该技术使得连接速度比传统的PCIe总线速度提升7倍，并减少了5倍互联能耗。通过将CPU和GPU的内存共用，GH200超级芯片供应内存可以达到600GB。 对于当下AI部分进展较快的大语言模型训练，对于内存和计算能力、数据之间的通信速度均有较高限制，为了摆脱传统PCIe等方式的限制，英伟达通过自定义的一系列NVLINK技术，提供给用户更高性能方案，具体包括： 1）大内存：256个超级芯片互联得到的GH200超级计算机拥有144TB的内存，可以存储更大规模的模型和数据，内存的大小决定了训练处理速度的快慢。 2）高带宽互联：在A100和H100方案中，NVLINK技术只用于服务器内部8张GPU卡之间的互联，其中A100的芯片互联带宽为600GBps，H100为900GBps。在GH200系统中，每张SuperChip可以视为一个服务器，同时芯片之间的互联变为通过NVLINKSWITCH来完成，使得系统中的每个GPU都可以用900GBps的速度访问其他GPU，带宽得到明显提升，推动通信侧速度快速提升。 图1：英伟达GH200SuperChip 图2：英伟达GH200SuperChip示意图 英伟达GH200：GPU：800G光模块需求=1：10.5 网络结构上，根据英伟达最新官方指导文件（下图3），针对256张超级芯片GPU互联，采用2层网络结构，其中两层网络均采用NVLINKSWITCH来完成搭建，关于交换用量，结合图4所示的具体配置参数可知，第一层（服务器和第一层交换机）之间使用了96台交换机，第二层（Level 2）使用了36个交换机。该网络结构依然采用无收敛fat-tree拓扑结构。 NVLINKSWITCH的配置参数为：每台交换机拥有32个端口，每个端口速率为800G。 考虑到Level 1之间互联距离较短，一般采用铜缆连接，不需要光模块；Level 2连接距离较长，需要用到800G光模块。 图3：英伟达GH200超级计算机网络结构 下图为GH200的网络具体配置参数，可以看到该系统仍然配置了256张400GIB网卡，并配置了24个NVIDIA Quantum-2QM9700 IB交换机，意味着该网络还配置了一条链路进行IB网络的互联，这里仍需要800G光模块。 图4：英伟达GH200超级计算机网络硬件配置（交换机、网卡等） 结合以上分析可知GH200的网络架构有两部分需要用到800G光模块，一部分来自NVLINKSWITCHSystem，一部分来自IB交换机。 1）NVLINKSWITCH部分800G光模块用量测算： 角度1：从连接带宽出发，推导出每张卡需要多少个800G光模块 GH200的特别之处在于每个GPU访问的聚合带宽均为900GB，单向意味着450GB 450GB带宽需要用到的800G光模块用量=450*8/800G=4.5个 结合只有Level 2交换机之间会用到光模块连接方式，对应两个连接点，无收敛fat-tree的架构下，每个交换机上下行端口数一致，因此单张GPU：800G光模块=1：4.5*2=1：9。 角度2;从第二层交换机端口数推算每张卡需要多少个800G光模块 第二层一共使用了36个交换机，每个交换机32个端口，每个端口速率为800G，无收敛fat-tree的架构下，第二层交换机所有端口向下进行800G速率互联，两端均为光模块 因此完成第二层连接所需要的光模块数量=36*32*2 因此单卡GPU：800G光模块=256：36*32*2=1：9。 2）IB交换机部分800G光模块用量测算： 根据此前发布深度报告《云基建专题（三）：AI驱动下光模块趋势展望及弹性测算》，针对一个H100两层网络搭建的方案，我们测算结论为：服务器：800G光模块用量比例=1：12，每台服务器8张GPU卡，因此单卡GPU：800G光模块=1：12/8=1:1.5。 在该网络中，预计GH200这部分有望采用H100类似方案搭建2层网络（对应24台交换机）。 图5：英伟达H1004SU方案展示 结合两个部分，可以得出GH200方案，单卡GPU：800G光模块用量=1：9+1.5=1：10.5。 同等算力要求下，GH200所需要的800G光模块用量提升超2倍 根据英伟达官方宣传信息，性能方面，DGXGH200超级计算机的运算速度可达1 Exaflops（百亿亿次），具有144TB内存。 1ExaFLOPS=100PFLOPS，换算到单张GPU卡，对应算力=1000/256≈4 PFLOPS H100芯片，根据官方配置信息GH100核心的FP64/FP32达到60TFlops，FP16为2000TFlops，TF32为1000TFlops。AI常用的位数为FP16位，可假设针对AI应用，H100单卡算力为2000TFLOPS=2PFLOPS。 可以得到GH200单卡性能较H100提升2倍。 一般来说，H100的方案往往采用三层网络结构，此时GPU：800G光模块用量=1：2.5（两层1.5，三层相当于增加一层，对应多了1），假设和GH200同等算力，此时GPU：800G光模块用量=1：2.5*2=1：5. 因此在同等算力情况下： GH200：GPU：800G光模块用量=1：10.5 H100：GPU：800G光模块用量=1：5 GH200带来的光模块用量是H100的2倍以上。 投资建议： 以Chatgpt为代表的AI应用正在得到快速发展，并进行着快速迭代，进而有希望形成赋能多行业的多样化新型应用落地，而以英伟达为代表的GPU厂商通过不断产品迭代推动网络架构升级，GH200更是带来更多800G光模块增量需求。从产业链角度拆解，可关注： 1）光模块及光器件、光芯片环节。结合上文分析可知，以英伟达为代表的AI网络架构升级直接带来行业高速光模块，尤其是800G光模块的快速放量。在光模块环节，国内企业已经占据行业领先地位，可重点关注已经导入海外大客户供应链环节的光模块及光器件厂商【中际旭创】、【天孚通信】、【新易盛】、【光库科技】；此外光模块上游芯片及器件厂商还包括【源杰科技】、【长光华芯】、【腾景科技】、【博创科技】、【太辰光】、【光迅科技】等； 2）ICT设备环节：一个完整可用的网络结构包括服务器、交换机、光模块等多个环节，因此光模块的快速放量可侧面验证服务器、交换机环节增长需求，可重点关注国内ICT领先企业【紫光股份】、【浪潮信息】、【锐捷网络】、【中兴通讯】、【菲菱科思】； 3）IDC环节：AI应用本质上还是通过建好的数据中心提供服务，同时AI服务器本身功耗较高，对数据中心的温控环节等提出更高要求，带来技术上升级迭代需求，可重点关注温控企业【英维克】、【申菱环境】； IDC电源端企业【科士达】；第三方IDC部分可重点关注【奥飞数据】等；此外该环节的厂商还包括【科华数据】、【同飞股份】、【佳力图】等。 表1：重点公司盈利预测与估值 风险提示： Chatgpt为代表的应用落地不及预期，参数假设存在偏差，实际行业需求和投入力度不及预期。