光模块观点随笔 继续学习网络架构-20240415

在MarveAIDay的PPT中展示了未来AI的网络架构，其中提到了frontend+backend网络，同时LoiNguyen在演讲中提到10w卡的集群可能会用到五层网络架构，GPU：光连接(opticalinterconnect)或达到1：5，且未来100w卡的集群也值得期待，#如需原稿材料欢迎私聊。(frontend+backend是啥？】在PPT中给的解释是backend网络用于一个集群(cluster)内AI服务器的互联，而frontend网络用于AI服务器和数据中心内的其他设备互联比如存储，也就是frontend和backend有明确的分工。#这里可以举2个典型的frontend+backend并存的例子，去年发布的GH200NVL256集群，以及今年后续或发布的GB200NVL576集群。 在MarveAIDay的PPT中展示了未来AI的网络架构，其中提到了frontend+backend网络，同时LoiNguyen在演讲中提到10w卡的集群可能会用到五层网络架构，GPU：光连接(opticalinterconnect)或达到1：5，且未来100w卡的集群也值得期待，#如需原稿材料欢迎私聊。(frontend+backend是啥？】在PPT中给的解释是backend网络用于一个集群(cluster)内AI服务器的互联，而frontend网络用于AI服务器和数据中心内的其他设备互联比如存储，也就是frontend和backend有明确的分工。#这里可以举2个典型的frontend+backend并存的例子，去年发布的GH200NVL256集群，以及今年后续或发布的GB200NVL576集群。在GH200架构中，0uantum-2IB交换机只用于RacktoRack的GraceCPU和存储的互联，而GPU互联通过NVLink交换机的racktorack组网，两者的带宽差异达到9倍NVLink的速率要远高于IB/以太网。 五层网络架构怎么理解？】基于胖树架构的拓扑原理，我们知道当交换机端口数是N，两层胖树互联上限是N^2/2，三层是N^3/4，如果用五层，会达到N^5/16，如果以常见的64port的交换机为例，五层网络实现最大互联规模达到6700多w张GPU，并不是LoiNguyen提到的10w卡。#因此LoiNquyen说的五层有可能是将frontend和backend网络加起来算的。还是以GH200NVL256为例，可以做成NVLink交换机组网2层(backend)，IB交换机组网3层(frontend)，合计是5层。这类架构的Interconnect多了很多，所以光模块用量确实也非常惊人，从Interconnect的维度看，GPU：Interconnect是1：5，但 是部分Interconnect带宽非常高，比如NVLink4达到单向3.6Tbps，是同代际CX-7的9倍，#因此实际上光模块用量会超过GPU：Interconnect的比例。 综上，Marvell对网络架构的持续升级保持乐观看法，尤其是GPU：光连接的比例，对此我们也认同，随着摩尔定律逐步达到极限，单GPU卡性能提升或有天花板，#未来AI架构的演进将更加强调互联性能的提升网络设备capex占比有望持续增加。