2026开放解构超节点（ODS）系统架构技术白皮书（1.0版）

开放解构超节点（ODS）系统架构技术白皮书总结

超节点技术发展面临的挑战

当前超节点技术发展面临以下主要挑战：

1. 硬件架构异构化和系统封闭性：不同厂商的超节点硬件架构（如电缆托盘、中背板、双宽机柜、浸没液冷等）与数据中心标准规范存在兼容性冲突，大幅提高了系统部署与集成成本。同时，私有互联技术（如NVLink、InfinityFabric）导致跨厂商设备互操作困难，增加了运维复杂度。
2. 厂商锁定风险和客户采购决策复杂性：超节点的全栈式定制化设计模式导致用户对单一供应商形成深度依赖，削弱议价主动权，并因供应商策略调整引发总体拥有成本（TCO）非预期攀升。不同厂商技术路线差异显著，用户采购决策面临投资保护风险。
3. 数据中心适配与系统成本挑战：整机柜超节点功率密度持续攀升，传统风冷技术难以匹配，液冷方案成为必然选择，但需进行大规模机房改造，提升基础设施投入成本。高度定制化设计导致研发投入、硬件BOM成本与后期维护成本较高。
4. 模型扩展与业务适配灵活性：主流整机柜超节点采用固定GPU数量（如64或72卡）的HBD配置，难以满足中小模型或多样化市场需求，且单机柜架构难以支持超大规模模型训练所需的更大HBD扩展。
5. 交付与运维便利性不足：整机柜超节点设计侧重性能优化，交付环节体积庞大、重量超标，对运输和机房空间要求高；运维环节存在故障修复时间长、液冷系统操作复杂、备品备件通用性差等问题，运维成本高。

开放解构超节点（ODS）设计理念

为应对上述挑战，提出以“开放解构”为核心理念的新型超节点架构，核心设计原则包括：

1. 网络协议完全开放：基于开放以太技术路线，统一Scale-up与Scale-out技术栈，消除异构组网的协议壁垒。
2. 硬件架构全面解构：计算节点采用轻量化定制服务器形态，交换节点基于标准化交换机架构，通过通用接口实现高效互联，打破厂商绑定。
3. 系统规模弹性扩展：支持从几十卡到上千卡的平滑弹性扩展，覆盖小规模分布式推理集群、中大型模型训练集群等多样化业务场景。
4. 散热方案灵活配置：系统架构原生兼容风冷与液冷两种散热方案，适配不同数据中心设施条件。
5. 互联效率全面优化：遵循“铜缆优先”原则，优先采用AEC铜缆互联方案；优先采用高基数交换机简化网络结构；最大限度减少光电转换（OEO）环节。

开放解构超节点（ODS）系统架构

ODS系统架构支持两种部署形态：

1. 基础开放解构超节点：以独立计算节点为基本构建单元，通过标准化高速互连接口与交换节点连接，实现硬件系统架构的完全解构。规模受限于交换机端口密度和线缆最大通信距离，最大支持256卡（液冷）和128卡（风冷）规模。
2. 级联开放解构超节点：以多套基础开放解构超节点为核心算力单元，通过第二级互联层（推荐采用OCS光电路交换机）实现级联，快速扩容超节点规模。最大级联规模由第二级互联设备类型和规格决定，可达8192卡（51.2T交换机）或16384卡（102.4T交换机）。

计算节点设计参考

1. XPU/GPU选型要求：建议优先采用以太网互连方案，每个GPU网络接口带宽建议≥3.2Tbps，支持RDMA、MPICollective操作硬件卸载、网络拥塞控制等功能。
2. 风冷型计算节点设计参考：采用4U风冷设计，支持4个加速器模块，由GPUBaseboard、PCIeSwitch板、CPU主板和电源分配板等关键部件组成。详细规定了各单板设计、信号完整性、电源、散热等要求。
3. 液冷型计算节点设计参考：提供盲插/非盲插两种方案，采用液冷散热，设计流量不超过10LPM，进液温度不低于40°C，进回液温差不大于15°C。

交换节点设计参考

1. 交换芯片选型要求：建议支持51.2T或更高转发带宽、短报文线速转发、400G或更高端口速率、112G或更高SerDes速率，并具备多种功能（如Cut-Through、LLR、链路层重传、灵活负载分担、包喷洒等）。
2. 风冷型交换机参考设计：规格为51.2Tbps（128x400GQSFP112或102.4Tbps），提供标准化接口和管理功能，内部布局包含MACBoard、IOBoard、BaseBoard、CPU扣板和FanBoard等组件。
3. 液冷型交换机参考设计：基本规格与风冷型相同，但交换芯片和光模块采用液冷散热，内部布局类似风冷型。

Scale-up互联方案

针对Scale-up互联，计算节点与交换节点互联优先采用AEC铜缆，交换节点间互联距离超出铜缆传输距离极限时采用光互联方案：

1. AEC铜互联方案：传输距离长（7米）、布线方便、可靠性高、功耗及成本低。
2. 光互联方案：
   • FRO：传输距离长，布线方便，但功耗和成本高，可靠性低，产品寿命短。
   • LPO：功耗更低，传输延迟更低，成本更低，但对设备信号处理要求高，系统整体成本高，设备调参负担重。
   • LRO：成本和功耗有下降空间，与设备适配性相对LPO更好，支持多模，具备数字诊断功能。
   • CPO：功耗低、延迟低、端口密度大、可靠性高，但处于前期研发阶段，预计2027~2028才能商业落地。

软件栈参考架构

软件栈采用分层解耦设计，支持分布式推理、量化压缩、图编译优化、通信加速等关键能力：

1. 工作负载层：支持多种AI任务，保障SLA指标，支持模型量化。
2. 推理与服务框架层：支持分布式推理、Prefill-Decode解耦、KVCache管理。
3. AI框架与工具链层：支持PyTorch等主流框架，提供模型量化工具包、图编译器、集体通信库等。
4. 核心计算与通信层：支持高性能计算和通信。
5. 驱动与运行时层：提供高性能、低开销的API访问硬件资源，兼容主流Linux发行版。
6. 固件与网络栈：控制硬件行为，支持动态调度与资源管理，支持高带宽、低延迟通信。
7. 硬件层：包括GaudiSoC、服务器平台、网络交换设备等。

机柜尺寸要求

1. 风冷机柜：高度2200~2500mm，宽度600mm，深度1200/1400/1500mm，支持留出线缆敷设空间，设备正面板平面配置必要的密封组件。
2. 液冷机柜：在风冷机柜要求基础上，支持集中式CDU或分布式CDU配置，包含进液和出液两根Manifold，具备排水功能，支持液冷门、分布式CDU等器件安装。

机柜供电要求

1. 计算机柜：支持垂直与水平PDU，建议每机柜冗余供电A/B路，最大供电容量50kW（A/B路各两根PDU）。
2. 交换机柜：建议至少2路冗余供电，最大供电容量30kW（8台51.2T交换机）/50kW（8台102.4T交换机）。

布线要求

1. AEC铜缆：根据计算节点数量和交换机配置确定线缆数量，柜内走线沿立柱方向垂直走线，机柜侧壁开走线孔。
2. 光纤布线：按照当前Scale-out网络的光纤布线规范进行。

散热要求

1. 计算机柜：风冷型支持单机柜50kW以下高密度散热，液冷型支持单机柜100kW以上高密度散热。可按需配置背板背门热交换器。
2. 交换机柜：风冷型支持单机柜25kW或48kW以下低密度散热，液冷型支持单机柜21kW或40kW以下低密度散热。

机柜的统一管理

机柜采用分布式管理方式，计算节点、交换节点、CDU均通过网线连接至TOR管理交换机。整机柜设备管理功能包括管理接口、资产统计、故障诊断、系统应具备高速互联链路故障的诊断能力、电源控制等。