模块化浸没式液冷边缘服务器系统参考架构及案例分享白皮书

模块化浸没式液冷边缘服务器系统参ODCC-2022-04103 分布式存储技术与产业分析报告 1 [编号ODCC-2022-04103] 模块化浸没式液冷边缘服务器系统参考架构及案例分享白皮书 开放数据中心标准推进委员会 2022-09发布 模块化浸没式液冷边缘服务器系统参ODCC-2022-04103 版权声明 ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。 I 模块化浸没式液冷边缘服务器系统参ODCC-2022-04103 编制说明 本报告由英特尔牵头撰写，在撰写过程中得到了多家单位的大力支持，在此特别感谢以下参编单位和参编人员： 参编单位（排名不分先后）： 英特尔、北京百度网讯科技有限公司、深圳市腾讯计算机系统有限公司、京东科技信息技术有限公司、中国信息通信研究院（云计算与大数据研究所）、工业富联&电子科技大学、浪潮电子信息产业有限公司、新华三技术有限公司、英业达科技有限公司、壳牌（中国）有限公司、中国移动研究院、西安三星电子研究所 参编人员（排名不分先后）： 吴敏、张骏、郭利文、吕文清、姜峰、陆科进、陈羿函、梁勇顺、吴佳鸿、罗颖姗、邹宁、卞峰伟、周宏兴、孙世明、魏巍、黄承华、段明华、秦超、马双、朱清怡、陈刚、董勋、杜海、刘通、刘逸流、吴秋材、陈炜、袁华勇、彭超、谢逸民、陈国锋、王贵林、蔡岳霖、房文义、常金凤、吴美希、孙波、姬忠一、刘香男、闫泽澍、陈向明、黄超凡、汪新新、邱国书、李锴、冯方、豆坤 项目经理： 张骏jun.z.zhang@intel.com II 模块化浸没式液冷边缘服务器系统参ODCC-2022-04103 前言 随着物联网、通信、人工智能等领域的快速发展，越来越多的边缘设备被广泛的应用在人们的生活中。边缘服务器作为边缘设备和数据中心之间的重要节点，承担对边缘设备管理、现场数据处理、数据中心通信等重要职能。同时工作负载整合的需求也进一步推高了边缘服务器的算力和性能的需求。边缘服务器逐渐从传统的小尺寸“盒子”类产品往高性能服务器演化。ODCC边缘工作组在2021年发布了《边缘计算小型化边缘服务器系统参考架构及技术规范》以应对高性能边缘服务器在硬件灵活性和苛刻的边缘环境上的挑战。在此规范的基础上，2022年ODCC边缘工作组为了克服高性能边缘服务器在恶劣环境中散热的问题，进一步简化边缘服务器在边缘环境中的部署，由Intel联合工业富联、壳牌等单位编撰了《模块化浸没式液冷边缘服务器系统参考架构及案例分享白皮书》，提供了从浸没式液冷液体指标到实际部署应用的完整参考设计，包括了：“浸没式液冷系统冷却液参数和设计考量”、“模块化硬件参考架构以及对浸没式液冷边缘服务器的散热优化设计”、“浸没式单相液冷边缘服务器工程案例参考”、“基于边缘浸没式液冷边缘服务器的智慧水务应用介绍”、“边缘服务器智慧工地应用介绍”、“基于边缘服务器的智慧工厂应用介绍”。 IT设备浸没式液冷是一种新型的冷却方式，其中IT设备（例如服务器）浸没在导热介质液体中。浸没式液冷的特点是潜在的100%热俘获能力、比风冷更低的电源使用效率（PUE）、更强的散热能力以及代际兼容的可能性。这些特性能很好的使边缘服务器工作在高温高湿的环境中。另外，浸没式液冷其自身的结构特点潜在的满足了风冷系统设计中噪音以及防水防尘的需求。这些优势很好的解决了高性能边缘服务器在边缘部署中的困难和痛点，从而使高性能服务器能更适用于边缘环境。 浸没式液冷系统主要分为两种类型：单相和两相浸没式液冷。在单相浸没式液冷设计中，冷却液不会产生相变，能够一直保持为液体，使用自然和强制对流方式传到热量。由于液体的热特性，它是一种比空气更有效的传热介质。散热器或冷却剂分配单元（CDU）用于将热从设备中传导到外部环境。两相浸 II 模块化浸没式液冷边缘服务器系统参ODCC-2022-04103 没式液冷设计利用了液体到气体之间的相变产生的热交换行为。在两相浸没式液冷系统中，需要使用到冷凝器将气体转化为液体。因此相比单相浸没式液冷系统，两相浸没式液冷系统尺寸更大，往往无法在一个机箱中集成浸没式液冷系统的所有部件，并不适用于边缘部署环境。因此在本书中主要考量单相浸没式液冷的系统架构。同时对成本和尺寸有更高要求的小型化边缘服务器设计，混合式散热系统设计将会提供更多的选择。这一部分内容计划将在后续进一步进行补充。 I 模块化浸没式液冷边缘服务器系统参ODCC-2022-04103 目录 版权声明I 编制说明II 前言III 一、浸没式液冷冷却液1 （一）浸没式冷却液基本参数1 （二）浸没式冷却液兼容性2 （三）浸没式冷却液对高速信号的影响3 二、没式液冷边缘服务器参考系统架构和散热优化3 （一）模块化边缘服务器系统参考架构3 （二）模块化浸没式液冷边缘服务器散热优化5 三、浸没式液冷边缘服务器工程案例–工业富联浸没式单相液冷系统6 （一）系统架构7 （二）设计概念与规范8 （三）测试结果与分析10 四、浸没式液冷边缘服务器潜在部署环境13 （一）基于边缘浸没式液冷边缘服务器的智慧水务应用13 （二）边缘服务器智慧工地应用15 （三）边缘服务器智慧工厂应用15 五、致谢16 V 模块化浸没式液冷边缘服务器系统参ODCC-2022-04103 一、浸没式液冷冷却液 冷却液是浸没式冷却系统中重要的组成部分。由于边缘服务器限制于其尺寸体积的设计，浸没式系统主要以单相冷却系统为主。目前单相浸没式系统主要采用的冷却液有两种类型材料，碳氢化合物，即合成油冷却液，以及氟化液，即高度改变结构的氟基液体。考虑氟化液GWP和价格等因素，在本技术白皮书中建议在边缘服务器浸没式系统设计中采用合成油冷却液。以下章节将介绍用于小型化边缘服务器浸没式液冷系统中合成油冷却液的各项性能指标。 （一）浸没式冷却液基本参数 浸没式液冷技术运用于到边缘计算，IT设备全部浸没于冷却液中，由冷却液带走设备运行所产生的热量。冷却液应在边缘计算浸没液冷运用应具有良好的化学稳定性，热力学性能，安全性能，毒理性能以及能满足环境保护的要求。具体指标要求包括击穿电压，比热容，导热速率，运动粘度，酸性物质含量，GWP和生物降解性等。下表列出了主要性能及指标。 表2-1冷却液性能指标 基本性能 测试方法 最低要求 推荐指标 击穿电压(2.5mm间隙，KV) GB/T507-2002 >20 42 体积电阻（TOhmm@60°C） GB/T5654-2007 >1 9.9 开口闪点，°C ASTMD92 >150 200 着火点，°C ASTMD92 >200 224 自燃点，°C DIN51794 >250 350 硫含量 ASTMD5453 <1ppm <1ppm 运动粘度（0℃） GB/T265 报告 50.6 运动粘度（40℃） GB/T265 报告 9.8 运动粘度（60℃） GB/T265 报告 5.7 含水量 GB/T11133 <100ppm 20ppm 酸值，mgKOH/g IEC62021-1 <0.1 0.006 倾点，℃ ASTMD97 <-36 -51 1 模块化浸没式液冷边缘服务器系统参ODCC-2022-04103 （二）浸没式冷却液兼容性 冷却液的材料不兼容体现在材料引起冷却液变化以及材料与冷却液发生相互作用改变材料本身性状。冷却液通过被吸附、溶解、萃取甚至腐蚀等作用影响部分或全部器件组成材料，引起所在器件破坏或长期运行后功能失效。因此冷却液的选择以及与器件的兼容匹配是系统设计过程中的重要一步。 材料兼容性浸泡测试方法具体过程包括:将待测样品浸泡在测试浸没液体中，一般情况每克待测材料使用浸泡冷却液为20mL。液体量需要根据被测器件体积的大小进行调整。将液体环境保持一定的温度，通常此温度应高于应用设定温度。推荐测试温度为80摄氏度并维持336小时（2周）。 试验过程中,观察冷却液和材料的外观变化，试验结束后将材料取出后洗净晾干，测量材料的质量变化率、体积变化率、及硬度变化对兼容性结果的评估包括测试前后待测材料的重量，体积以及外观变化和浸没冷却液的颜色等基本物理性能的变化。 如下表是一份基于实验室测试结果的通用合成油流体兼容性指南。不同组件通常由不同的材料和配方制成，因而每个组件的相容性性能可能有所不同，建议流体供应商与部件厂商合作对组件执行详细的兼容性测试。 表2-2冷却液兼容性测试分析 材料类型 材料描述 常见组件 相容性 金属 银 导体 相容 金属 铜 导体 相容 金属 铝 连接件 相容 金属 铁 型材 相容 金属 锌 涂层 相容 弹性体 FKM/氟橡胶 冷却软管/管道 相容 弹性体 CR（氯丁二烯） 密封件 相容 弹性体 MFQ（氟硅橡胶） 密封件 相容 弹性体 PU（聚氨酯） 连接件 相容 2 模块化浸没式液冷边缘服务器系统参ODCC-2022-04103 塑料 聚丙烯（不含塑化剂） 油罐 相容 塑料 HDPE（不含塑化剂） 电缆/电线绝缘 相容 塑料 PTFE（聚四氟乙烯） 密封件 相容 塑料 硬PVC（不含塑化剂） 电缆/电线绝缘 相容 塑料 聚酰胺 冷却软管/管道 相容 塑料 PC（聚碳酸酯） 连接件 相容 塑料 PETG（改性聚对苯二甲酸 乙二酯） 冷却软管/管道 相容 塑料 POM（聚甲醛） 连接件 相容 塑料 PS（聚苯乙烯） 型材 相容 弹性体 EPDM（三元乙丙橡胶） 密封件/连接件 不建议 （三）浸没式冷却液对高速信号的影响 由于浸没式液冷需要把整个服务器浸泡在冷却液中，所以冷却液对PCB以及高速信号的信号完整性的影响需要纳入考虑。浸没式冷却液在高速信号互连中有两种不同的浸入效应： 第一种效应是由于PCB、元器件和电缆等物体在冷却液种长时间浸泡引起的物理和化学特性的变化，导致偏离设计目标和需求。因此材料的高速信号兼容性需要特别留意。第二个效应是冷却液会改变高速信号导线附近的介电常数。冷却液相当于容性媒介从而引起高速互连的传输环境变化。 连接器和CPU插槽一般都是为风冷环境设计的。当连接器浸没在冷却液中，连接器的阻抗值可能会引起变化。因此连接器的高速信号影响也需要考虑。 目前合成油对PCB以及连接器的高速信号影响正在测试过程中，具体数据将在后续更新版本中发布。 二、没式液冷边缘服务器参考系统架构和散热优化 （一）模块化边缘服务器系统参考架构 模块化边缘服务器是一种为浸入式冷却系统优化的新型系统架构。它包含从电气、机械到热设计等多个方面。图3-3是模块化服务器架构的机构图。模 3 模块化浸没式液冷边缘服务器系统参ODCC-2022-04103 块化边缘服务器架构采用了CPU主板上下堆叠的方式，取代目前主流的spreadcore和ShadowCore的CPU布局。 服务器计算节点由两个模块组成，一个是CPU模块，另一个是载板（IO板）。任何一个模块都可以配置为单CPU系统单独启动，或者两个模块通过上下堆叠的方式组装在有一起，形成一个双路系统。这种解耦的模块化设计架构非常灵活，根据不同的需求和应用环境可以搭配不同规格的性能和计算密度，同时可以节约设计成本和BOM成本。 图3-3模块化计算模块机构示意图 CPU模块的尺寸如下表3-4和表3-5所示。CPU和所有1SPCDIMM均放置在模块上。所有其他组件，如PCH、FPGA/CPLD、BMC等，都可以选择性设计在该模板上。 表3-4标准CPU模块尺寸 最大尺寸 长度 220mm 宽度 200mm 高度(上下堆叠组装) 82mm 高度(单模块) 40mm 4 模块化浸没式液冷边缘服务器系统参ODCC-2022-0410