通信：全球算力共振，国内新连接开启

报告主要关注了GPU和TPU的发展趋势，以及AWS Trainium和Meta的AI芯片。GPU的发展趋势包括光模块数量和比例的差异，总体需求仍然会有强有力的需求。TPU的发展趋势包括谷歌自研的TPU系列，其中2023年6.17 ISCA的论文提到90%的训练在TPU上进行。谷歌开始部署TPUv4，对应400G光模块，预计当前已经开始部署TPUv5，对应800G光模块。每个TPUv4 Package有16个OSFP连接口，作为外部的ICI互联。谷歌OCS交换机成为Palomar，拥有136*136个端口交互能力，用MEMS阵列控制光路输入输出。AWS Trainium是AWS 专门为超过1000 亿个参数模型的深度学习训练打造的第二代机器学习(ML) 加速器。每个加速器包括2个NeuronCore，具备32GB HBM内存，提供190TFLOPS的FP16/BF16，380 INT8 TOPS，47.5 FP32 TFLOPS。卡间互联网络采用NeuronLink-v2，类似于NVLink，互联速率达到384GB，比A100 300GB要高。EC2 UltraClusters是可以扩展到数千张GPU或者ML加速器，例如AWS Tranium、H100、A100的集群。EC2 允许扩展到20000H100，A100则是仅扩展到4000张，Trainium可以扩展至30000张。Meta自研的MTIA芯片当前仅使用100G总带宽，而卡间互联还是使用PCIE GEN4。如果构建成二层、三层400G网络集群则对应8个A100的方案大部分采用400G的总带宽接入，而不是Nvidia的1.6T。