半导体行业跟踪报告之十八：卡间互联成为AI芯片竞争焦点，华丰科技铜互连方案国内领先
一、英伟达GPU卡间互联优势明显，发布NVL72采用铜连接方案 2024年GTC大会，英伟达发布B200系列GPU与NVL72机柜。英伟达于美东时间3月18日举办2024 GTC大会，发布了多项重要产品。公司CEO黄仁勋介绍了运行AI模型的新一代芯片和软件，并正式推出名为Blackwell的新一代AI图形处理器（GPU），预计将在今年晚些时候发货。 英伟达每两年更新一次其GPU架构，实现性能的飞跃。过去一年发布的许多AI模型都是在该公司的Hopper架构上训练的，该架构被用于H100等芯片，于2022年宣布推出。Blackwell平台能够在万亿参数级的大型语言模型（LLM）上构建和运行实时生成式AI，而成本和能耗比前身低25倍。 图表1：英伟达Blackwell GPU芯片 英伟达称，Blackwell拥有六项革命性的技术，可以支持多达10万亿参数的模型进行AI训练和实时LLM推理： 1)全球最强大的AI芯片。Blackwell架构GPU由2080亿个晶体管组成，采用量身定制的台积电4纳米工艺制造，两个reticle极限GPU裸片将10 TB/秒的芯片到芯片链路连接成单个统一的GPU。 2)第二代Transformer引擎：结合了Blackwell Tensor Core技术和 TensorRT-LLM和NeMo Megatron框架中的英伟达先进动态范围管理算法，Blackwell将通过新的4位浮点AI支持双倍的计算和模型大小推理能力。 3)第五代NVLink：为提高数万亿参数和混合专家AI模型的性能，最新一代英伟达NVLink为每个GPU提供了突破性的1.8TB/s双向吞吐量。 4)RAS引擎：Blackwell支持的GPU包含一个专用引擎，实现可靠性、可用性和服务性。此外，Blackwell架构还增加了芯片级功能，利用基于AI的预防性维护进行诊断和预测可靠性问题。这可以最大限度地延长系统正常运行时间，并提高大部署规模AI的弹性，使其能连续运行数周甚至数月，并降低运营成本。 5)安全人工智能：先进的机密计算功能可在不影响性能的情况下保护AI模型和客户数据，并支持新的本机接口加密协议，这对于医疗保健和金融服务等隐私敏感行业至关重要。 6)解压缩引擎：专用解压缩引擎支持最新格式，加快数据库查询，提供数据分析和数据科学的最高性能。未来几年，在企业每年花费数百亿美元的数据处理方面，将越来越多地由GPU加速。 此外，英伟达发布了GB200 NVL72，把18个Blackwell计算节点（Compute Tray）组合在一起，形成新一代计算单元。 图表2：GB200 NVL72 GB200 NVL72中一共包含了9个NVLink交换节点（Switch Tray），每个交换节点中配置了2颗NVLink Switch芯片，向外提供14.4TB/s的聚合带宽。 图表3：NVLink Switch Chip 图表4：NVIDIA GB200 Internal NVLink Switch 如果要训练一个1.8万亿参数量的GPT模型，需要8000张Hopper GPU，消耗15兆瓦的电力，连续跑上90天。但如果使用Blackwell GPU，只需要2000张，同样跑90天只要消耗四分之一的电力。除了训练之外，生成Token的成本也会随之降低。GB200 NVL72训练和推理性能相比于等同数量的H100 GPU表现提升4倍和30倍。 从NVLINK 1.0到NVLINK 5.0，英伟达GPU卡间互联快速演进。作为英伟达的核心技术，NVLink在GPU网络通信系统中占据重要地位，其对于提升数据传输效率和处理性能具有显著作用。 NVLink技术实现了GPU与支持该技术的CPU之间以及多个GPU之间的高带宽直接连接，从而大幅提升了整体性能。然而值得注意的是，NVLink技术并未向行业开放，这在一定程度上影响了其他厂商在相关领域的竞争力。 英伟达不仅拥有出色的GPU和软件，还在跨多个GPU和系统横向扩展工作负载方面拥有丰富的技术积累。这些技术包括芯片上和封装上互连、用于服务器或pod中GPU到GPU通信的NVLink、用于超pod扩展的Infiniband以及连接到更庞大基础设施的以太网等。NVLink技术使得CPU与GPU之间能够实现快速数据交换，从而提升了整个计算系统的数据吞吐量，有效克服了加速计算领域的一大瓶颈。 随着英伟达GPU芯片的更新迭代，NVLink技术也在不断进化。从2017年的NVLink 2.0到2020年的NVLink 3.0，再到2022年的NVLink 4.0，每一次更新都带来了更高的性能和更广泛的应用场景。 图表5：NVLink升级过程 在2024年的GTC大会上，英伟达推出了全新的NVLink 5.0技术，并与最新一代Blackwell芯片一同亮相。这一技术极大地提升了大型多GPU系统的可扩展性，单个Blackwell Tensor Core GPU支持多达18个NVLink 100GB/s连接，总带宽达到1.8TB/s，较上一代产品提升了两倍之多。此外，NVLink 5.0技术还支持跨节点扩展，通过NVLink Switch以及铜缆互联实现无缝、高带宽、多节点GPU集群的构建，从而满足数据中心级别的大型GPU需求。 利用NVLink技术，多服务器集群能够平衡GPU通信与增加的计算量，从而实现了更高的性能和效率。例如，在GB200 NVL72等服务器平台上，NVLink技术的应用使得这些平台能够支持更为复杂的大型模型，并提供了更高的可扩展性。这些优势使得英伟达在GPU网络通信领域继续保持领先地位，并为其在AI、数据中心等领域的广泛应用提供了有力支持。 二、八巨头组建UALink联盟，卡间互联成为竞争焦点 为弥补卡间互联差距，八大巨头组建UALINK联盟。谷歌、Meta、微软、AMD、英特尔、博通、思科、惠普在内的科技巨头联合宣布成立Ultra Accelerator Link（UALink）联盟，致力于开发人工智能数据中心GPU网络通信系统的全新行业开放标准。此举旨在打破英伟达在市场上的垄断地位，推动行业内的竞争与创新。 UALink倡议由AMD牵头提出，得到了英特尔、博通等公司的积极响应与支持。 作为倡导组织的成员，思科、谷歌、惠普、Meta和微软等公司亦表示大力支持。 该倡议致力于构建一种内存语义结构，在首个版本规范中便支持扩展至1024个端点，以适应不同规模的AI计算需求。 UALink联盟计划推出的首个UALink 1.0版本将实现AMD的Instinct GPU和英特尔的Gaudi等专用处理器之间的直接数据传输，从而显著提升AI计算的性能与效率。UALink的高速I/O通信设计与协议展现出强大的技术实力，彰显了联盟成员挑战市场领导者的决心。UALink专家组将负责制定管理数据中心中不同GPU之间连接的标准，并预计于2024年第三季度向联盟成员提供这些标准。 UALink的推出为业界其他公司提供了追赶英伟达步伐的契机。随着AI计算需求的不断增长，拥有一个稳健、低延迟且可高效扩展的网络对于提升计算性能至关重要。UALink及行业规范的制定将有助于为AI工作负载创建开放的高性能环境，推动行业的持续进步。 UALink工作组将致力于制定规范，以界定AI计算容器组中加速器与交换机之间进行纵向扩展通信所需的高速低延迟互连。通过标准化接口和实现方式，UALink将为新一代AI数据中心提供更加高效、灵活的AI和机器学习、高性能计算以及云应用程序解决方案。 图表6：UALink Pod 图表7：UALink Pod互联 对于AMD和英特尔等业界巨头，UALink的推出为它们提供了一条复制NVLink和NVSwitch功能的路径，并促进了与其他企业的合作与成果共享。博通等公司在UALink的助力下，可生产UALink交换机，有效推动其他公司的规模扩张。 AMD数据中心总经理Forrest Norrod明确指出，行业亟需开放标准以推动持续发展，并鼓励多家公司共同参与价值创造。首批UALink产品预计将在未来几年内陆续问世。 博通数据中心副总裁Jas Tremblay表示，作为UALink联盟的创始成员，博通一直致力于将AI技术融入数据中心领域，并支持开放生态系统协作，这对于实现网络扩展至关重要。 思科通用硬件集团执行副总裁Martin Lund亦强调，随着AI工作负载的不断增长，高性能互连技术的重要性日益凸显。思科将积极参与UALink的开发，共同打造可扩展且开放的解决方案，以应对构建AI超级计算机所面临的挑战。 三、华丰科技：高速连接器产品国内领先，助力国产互联方案发展 连接器领域数十年积累，防务、通讯和工业全面布局。华丰科技是我国率先从事电连接器研制和生产的核心骨干企业及高新技术企业，长期从事光、电连接器及线缆组件的研发、生产、销售，并为客户提供系统解决方案。 公司自设立以来，主营业务未发生重大变化，主要经营模式自华丰有限设立以来未发生重大变化，主要产品的技术水平、技术含量、质量等级不断提升，产品也随着用户使用要求，逐步向轻量化、高密度、小型化、集成化、无缆化发展，自公司前身华丰厂成立至今，公司业务、产品、技术经历了逐步演进的过程。 图表8：华丰科技成立以来的技术演进 公司面向世界科技前沿、经济主战场和国家重大需求，大力推动技术创新，持续开展技术攻关，目前已具备突破关键核心技术的基础和能力，掌握具有自主知识产权的连接器核心技术，为我国通讯、防务、工业等行业大量配套，产品广泛应用于通讯、航空、航天、船舶、防务装备、电子装备、核电、新能源汽车、轨道交通等领域。 图表9：公司系统互联产品 图表10：公司通信连接器产品 在防务领域，公司具有60余年的防务互连技术沉淀和综合优势，产品体系覆盖全面，产品层次丰富，可提供复杂系统的互连整体解决方案。从1980年向太平洋发射运载试验开始，至1999年“神舟一号”试验飞船实现天地往返，到2022年“神舟十四号”与天和核心舱再次对接，公司先后为航天发射系统、运载火箭系统、航天服系统、载人飞船系统、测控通信系统、空间应用系统、空间实验系统和着陆系统等大量配套，特别是航天服上的连接器为独家研制生产，公司连接器的高可靠性能为载人航天工程的成功奠定了坚实根基。目前公司已完成防务信息系统连接器统型标准科研项目1项，主导或参与制定了十余项国家标准及国家军用标准。公司开发的FMC系列高速数据连接器、JVNX系列高速总线连接器、JH系列耐环境连接器等产品技术指标达到国际先进水平，FMC、JVNX等系列连接器实现了国产化替代。 在通讯领域，公司于2016年和2018年分别作为独家建设单位承担了国家工信部“强基工程”和国家发改委重大专项工程，在被誉为连接器行业皇冠上的明珠“高速背板连接器”领域一举突破了国外龙头企业对于10Gbps及以上速率高速背板连接器技术封锁，掌握了产品核心设计技术及关键制程工艺技术，实现了国产化替代，为通讯产业核心元器件自主可控做出了贡献。在高速连接器核心技术基础上，公司为解决现有PCB技术下，通讯设备高速化后信号传输长链路无法满足衰减要求的难题，成功开发了基于芯片到芯片、芯片到接口、背板到子板全链路低损耗解决方案及产品，为通讯设备厂商核心设备持续升级提供了高速链路的连接技术支撑。公司与华为、中兴、诺基亚等国内外多家主流通讯设备制造商建立了长期的业务合作关系，已成为华为、中兴的核心供应商之一。 在工业领域，公司在轨道交通业务方面开发了覆盖整车/整机用的JL系列圆形及HDC系列重载等互连产品，突破了信号控制及高压大电流技术，产品完全满足IEC等国际标准，在机车和城轨列车上实现了国产化替代，并正在进行高速动车组互连产品国产化替代统型；在新能源业务方面，公司开发了车载高压连接器及线束、充电接口连接器、BDU/PDU充配电系统总成及控制模块，并正在开发车载高速连接器及线束组件，逐步在新能源汽车领域打开
