100 MW 超大规模 AI 数据中心架构蓝图

100 MW 超大规模 AI 数据中心架构蓝图

摘要

本白皮书提出了一个 100 MW 级超大规模 AI 数据中心的参考架构蓝图，旨在支持基于 NVIDIA GB200 NVL72 平台的系统部署，例如 NVIDIA DGX GB200 或 NVIDIA 合作伙伴的系统。该蓝图采用具备 Tier III 能力的架构设计，集成西门子工业级电气系统、NVIDIA GB200 NVL72 系统及 nVent 液冷技术，适用于符合 UL 规范的市场环境。本文系统阐述 Pod 级模块化架构、电力分配、冷却、控制与自动化系统，以及面向规模化部署的运行可扩展性设计。

核心观点

• 趋势与挑战：随着人工智能算力需求的持续增长，数据中心面临机架功率密度提升、高密度热负载散热、全球部署能效优化等挑战。
• 设计理念：架构核心采用 NVIDIA GB200 NVL72 集群，每个集群集成 72 个 NVIDIA GPU 与 36 个 NVIDIA Grace CPU，单机架额定功率达 127 kW，需要先进的热和电力基础设施。
• 关键架构：
  • Tier III 可并行维护设计：支持并行维护与故障隔离，确保系统运行连续性。
  • 电力分配：采用 4 取 3 冗余模型，每个机柜单元配置 4 个 415 V、3000 A 的主配电柜，支持按需扩展部署。
  • 冷却架构：采用模块化冷却分配单元 (CDU)，每台 CDU800 可满足最高达 1.63 MW 的 IT 液冷热负载，温差 (ATD) 可低至 4K，支持全年大部分时间的无冷机运行。
  • 自动化与控制：基于集成数据中心管理套件 (IDCMS) 构建的自动化与控制架构，实现对服务器、网络及基础设施的全面可视化与集中管控，支持基于 NVIDIA GB200 NVL72 的数据中心实现安全、高效与优化的稳定运行。

关键数据

• 计算密度：NVIDIA GB200 NVL72 机架，127 kW；支持机架 14 kW 功率。
• Pod IT 负载：每 32 机架 2,256 kW（服务器与网络）。
• 总机架数量：640 个服务器机架（约 100 MW）。
• 冗余等级：Tier III 级可并行维护等级。
• Pod 总数：40 个机柜。
• 冷却策略：ASHRAE W32–W45 温水液冷。
• 供电韧性：4-取-3 冗余架构，N+1 / Tier III UPS。

研究结论

该架构通过模块化、具备容错能力的设计，最大限度地减少停机时间并加速算力交付，同时最大化每单位能耗的产出，实现更高效的 AI 输出。借助高密度 POD 机柜架构、智能自动化和集成式液冷技术，运营方可以最大化每单位能耗的产出，实现更高效的 AI 输出。该设计为实现高性能、节能型运营提供了清晰路径。