2024全液冷冷板系统参考设计及验证白皮书

全液冷冷板系统参考设计及验证 白皮书 2024年1月 推荐语 OCTC开放计算标准工作委员会 液冷行业在数据中心领域的应用和发展，已经成为了数字化时代不可或缺的一部分。随着数据量的爆炸式增长，传统的风冷技术已经难以满足高密度服务器的散热需求。而液冷技术，作为一种高效、绿色的冷却方式，正逐渐成为数据中心建设的首选。本文详细介绍了液冷技术的背景、技术优化方向以及全液冷服务器系统的设计、验证和展望。通过对液冷技术的深入剖析，我们可以看到其在数据中心节能减排、提高计算力和生产力的巨大潜力。在未来，液冷技术将继续发挥重要作用，为数字经济的发展提供有力支撑。 辛公明｜山东大学能源与动力工程学院教授、党委书记 面对能耗挑战与双碳目标，液冷技术成为数据中心领域的前沿焦点。本文系统介绍了液冷技术的演进、全液冷冷板系统的设计与实践，以及铝冷板方案的具体实施与测试。内容详实，层次分明，为研究者与实践者提供了宝贵的参考资料。本文不仅梳理了液冷行业的发展背景，还深入探讨了液冷技术的优化方向。对于数据中心行业而言，液冷技术的推广应用将有助于实现节能减排，推动绿色算力的发展。希望此文能激发更多人关注液冷技术，共同为绿色低碳数据中心建设作出贡献。 陈葆立｜英特尔数据中心与人工智能集团副总裁兼中国区总经理 数字化和绿色低碳已经成为经济与社会高质量、可持续发展的关键推动力。中国“双碳”目标的提出，更让数字化与绿色低碳相互协同，加速推动数字基础设施和算力底座优化升级，推进千行百业更快速实现碳中和转型。英特尔植根中国，携手战略合作伙伴浪潮信息积极行动，不断协同推进技术创新，践行数字化及绿色战略，助力中国加速实现“双碳”目标。本项目就是在上述背景下，由英特尔中国和浪潮信息通力合作完成。为应对IT设备功耗和功率密度的持续增加、数据中心PUE要求日益严格的挑战，本项目探索出更经济、更高效的基于冷板的全液冷解决方案的参考设计和验证方法。 目录 第一章液冷行业背景及技术优化方向03 1.液冷行业背景及政策04 2.液冷数据中心主流技术介绍及对比07 3.先进冷板液冷数据中心介绍08 4.冷板液冷服务器设计技术优化方向09 第二章全液冷服务器系统架构设计10 1.全液冷冷板服务器创新实践11 2.系统组成及管路布局12 3.通流方式选择及流量计算13 第三章全液冷服务器冷板关键部件设计16 1.CPU冷板设计17 2.内存液冷设计17 3.硬盘液冷设计18 4.PCIe/OCP卡液冷设计19 5.电源冷板设计21 第四章全液冷服务器冷板性能测试23 1.测试项目介绍24 2.测试结果分析25 第五章铝冷板全液冷方案设计与测试29 1.铝冷板全液冷方案设计30 2.铝冷板性能与兼容性测试31 3.铝冷板测试结果及分析32 第六章冷板液冷未来思考展望35 1.全液冷冷板技术应用拓展36 2.冷板液冷新技术展望37 第一章 液冷行业背景及技术优化方向 1.液冷行业背景及政策 2.液冷数据中心主流技术介绍及对比 3.先进冷板液冷数据中心介绍 4.冷板液冷服务器设计技术优化方向 03｜《全液冷冷板系统参考设计及验证白皮书》 1. 液冷行业背景及政策 1.1 数据中心行业发展及问题 国家十四五规划提出大力发展数字经济，计算力代表着生产力，而计算力的承载体就是数据中心。根据IDC发布算力报告指出：算力提升与经济发展成正相关关系，计算力指数每提高一个点，数字经济会增长3.5%，GDP会增长1.8%。 数据中心基础设施作为算力的载体已成为支撑数字经济的“数字底座”，而其本身也是碳排放“大户”，2022年，中国数据中心碳排放量相当于5000万辆燃油汽车的年排放总量。在双碳目标下，作为“耗电大户”数据中心的节能减排备受关注。 当前，芯片功耗与服务器功耗逐步上升。与之对应，单机柜功率密度也不断增大。根据相关机构调研，2020年数据中心平均机架功率为8.5kW/机柜，相比于2011、2017年有明显提高，年复合增长率达到15%。高功耗芯片，高密度服务器及单机柜密度的演进，对于传统风冷散热来说，既容易出现局部热点，影响换热性能；又需要不断降低送风温度，增大送风风量，影响制冷能耗。因此，传统风冷制冷模式在换热性能及能耗优化方面逐步受限。 液冷是一种新兴的冷却技术，该种技术通过采用液态冷却工质流动方式带走发热元件热量替代风冷换热中采用空气换热的模式。与风冷对比，液冷技术可以更好地支持高功耗芯片解热，保持芯片低温运行，延长寿命；充分利用室外自然冷源冷却，降低数据中心PUE；提高关键部件换热效率，减少服务器散热热点，支持机柜更高密度；降低数据中心噪声，提升数据中心环境适应性。因此，未来数据中心建设中，液冷技术的应用将会是在数据中心制冷方向的重要组成部分，也是实现绿色算力和双碳目标达成的重要举措。 1.2 数据中心行业政策介绍 “碳中和”成为全人类共识，已有130多个国家宣示了碳中和承诺。近年来随着数据中心规模快速增长，其耗电量约占全球总用电量的2%，且还在急剧增加。《Uptime全球数据中心报告2022》指出，2014年以来，全球大型数据中心PUE连续8年维持在1.6左右，数据中心能效水平仍存在较大优化空间。为推动数据中心绿色发展，多个国家、国际组织发布相关政策。 多地已开始限制高PUE的数据中心的建设，相关政策和数据中心机房对PUE提出明确限制，鼓励液冷技术、IT设备高密度集成技术及IT设备能效提升技术实施，促进数据中心液冷技术进一步发展。 1.3 液冷数据中心标准化建设 标准化是衡量技术成熟度的重要凭证，对于液冷数据中心的标准化建设，一直以来都是行业领域、学术界与工业界关注的重点。 国内标准方面，已发布1项与电子设备相关的冷板液冷国家标准，GB/T15428-1995《电子设备用冷板设计导则》。该标准主要规定电子设备使用的冷板换热计算和结构设计，对于冷板核心参数定义，性能定义，材料定义，加工工艺，漏液检测定义和测试方法及要求均不涉及；同时据统计，近五年来国内有十余家标准组织或技术组织正在开展液冷技术相关的标准化工作，已发布行业标准9项，团体标准28项，涉及液冷部件，节点，系统和数据中心四个层面的技术要求和测试方法，适用于液冷系统的设计、施工、部署、运维、测试等环节的技术指导（清单详见下表）；此外国内也已发布20余项白皮书或研究报告成果。 表1.现有液冷数据中心标准 序号 标准类别 标准编号 标准名称 归口单位 1 国家标准 GB/T15428-1995 电子设备用冷板设计导则 全国电工电子设备结构综合标准化技术委员会 2 行业标准 YD/T4024-2022 数据中心液冷服务器系统总体技术要求和测试方法 中国通信标准化协会 3 行业标准 YD/T3983-2021 数据中心液冷服务器系统能源使用效率技术要求和测试方法 中国通信标准化协会 4 行业标准 YD/T3982-2021 数据中心液冷系统冷却工质体技术要求和测试方法 中国通信标准化协会 5 行业标准 YD/T3981-2021 数据中心喷淋式液冷服务器系统技术要求和测试方法 中国通信标准化协会 6 行业标准 YD/T3980-2021 数据中心冷板式液冷服务器系统技术要求和测试方法 中国通信标准化协会 7 行业标准 YD/T3979-2021 数据中心浸没式液冷服务器系统技术要求和测试方法 中国通信标准化协会 8 行业标准 YD/T4274-2023 单相浸没式液冷数据中心设计要求 中国通信标准化协会 9 行业标准 YD/T4411-2023 浸没式液冷数据中心测试方法 中国通信标准化协会 10 团体标准 T/CESA1249.1-2023 服务器及存储设备用液冷装置技术规范第1部分：冷板 中国电子工业标准化技术协会 11 团体标准 T/CESA1249.2-2023 服务器及存储设备用液冷装置技术规范第2部分：连接系统 中国电子工业标准化技术协会 12 团体标准 T/CESA1249.3-2023 服务器及存储设备用液冷装置技术规范第3部分：冷量分配单元 中国电子工业标准化技术协会 13 团体标准 T/CESA1249.4-2023 服务器及存储设备用液冷装置技术规范第4部分：液冷监控 中国电子工业标准化技术协会 14 团体标准 T/CESA1271-2023 液冷式高性能计算机技术参考架构 中国电子工业标准化技术协会 15 团体标准 T/CESA1272-2023 高性能计算机浸没式液冷系统技术要求 中国电子工业标准化技术协会 16 团体标准 T/CCSA239.2-2020 服务器用液冷系统第2部分：喷淋式 中国通信标准化协会 表2.ASHRAE机房等级划分及参数 ASHRAE机房等级W17W27 一次侧供水温度17℃27℃ W32 32℃ W40 40℃ W45 45℃ W+ >45℃ 序号 标准类别 标准编号 标准名称 归口单位 17 团体标准 T/CCSA239.1-2018 服务器用液冷系统第1部分：间接冷板式 中国通信标准化协会 18 团体标准 T/CIE087—2020 单相浸没式直接液冷数据中心设计规范 中国电子学会 19 团体标准 T/CIE091—2020 温水冷板式间接液冷数据中心设计规范 中国电子学会 20 团体标准 T/CIE090—2020 数据中心温水冷板式间接液冷设备通用技术要求 中国电子学会 21 团体标准 T/CIE088—2020 非水冷板式间接液冷数据中心设计规范 中国电子学会 22 团体标准 T/CIE089—2020 喷淋式直接液冷数据中心设计规范 中国电子学会 23 团体标准 T/CIE098—2021 液/气双通道热管冷板间接液冷数据中心设计规范 中国电子学会 24 团体标准 T/CIE097—2021 液/气双通道热管冷板间接液冷数据中心散热设备通用技术规范 中国电子学会 25 团体标准 T/CIE096-2021 相变浸没式直接液冷数据中心设计规范 中国电子学会 26 团体标准 T/CIE050-2018 液-气双通道散热数据中心机房验收标准及测试方法 中国电子学会 27 团体标准 T/CIE051-2018 液-气双通道散热数据中心机房设计规范 中国电子学会 28 团体标准 T/ZSA216-2023 相变浸没式直接液冷数据中心设计规范 中关村标准化协会 29 团体标准 T/SHSIC0202-2023 数据中心浸没式液冷系统单项冷却工质技术指标和测试方法 上海市通信学会 30 团体标准 T/CA307-2023 数据中心浸没液冷系统碳氟类冷却工质技术要求和测试规范 中国通信工业协会 在国外标准方面，ASHRAETC9.9定义了供给冷量分配单元的一次侧冷却水的温度等级，从W17到W+共6个温度等级，详细内容如下表所示。 2. 液冷数据中心主流技术介绍及对比 2.1 数据中心行业发展及问题 冷板液冷和浸没式液冷是目前数据中心行业应用的两种主流液冷技术。冷板式液冷是指采用液体作为传热工质在高导热金属冷板内部流道流动，通过热传递对热源实现冷却的非接触式液体冷却技术。浸没式液冷是将发热电子元器件直接浸没在非导电冷却工质中，通过冷却工质循环流动来进行散热的接触式冷却技术。根据液冷工质在换热过程中是否会发生液气相转变，冷板和浸没式液冷又分成单相式和两相式。单相冷板和单相没式液冷由于技术相对简单，在教科研、互联网和通信等多行业里已经有一些典型部署案例。 相比单相浸没式液冷，单相冷板式液冷主要有以下优势： ·技术相对成熟，生态完善，对机柜和服务器改造小，初投资少，成本优势明显。 ·不改变客户的使用习惯，运维模式、机房承重与风冷场景也基本一致。 ·冷却工质不直接接触芯片和服务器内其他部件，对材料兼容性要求低，可以相对容易地与不同厂商和型号的计算设备兼容，提供更多的硬件选择空间；对服务器高速链路信号完整性也无影响。 ·占用空间相对较少，适合于对空间有限制的数据中心和计算环境。 ·对冷却工质的需求量少，冷板液冷