绿色数据中心创新实践-冷板液冷系统设计参考白皮书

绿色数据中心创新实践 冷板液冷系统设计参考 中国绿色数据中心技术创新论坛发布 目录 引言 1 01 数据中心能效发展趋势及一次侧冷却系统3 02 2.1数据中心发展趋势3 2.1.1数据中心总体能耗不断抬升3 2.1.2功率密度随需求不断提高3 2.2数据中心液冷散热方案4 2.2.1液冷的优势4 2.3基于冷板液冷方案的一次侧系统4 2.3.1机械制冷系统4 2.3.2自然冷却系统4 2.3.3一次侧系统应用场景5 二次侧冷板液冷概述 8 03 液体冷却方案名词解释 9 04 4.1冷板式液冷9 4.2冷板9 4.3混合冷却9 4.4全液冷却9 4.5单相和两相冷却工质（冷却工质/冷媒）10 4.6冷量分配单元10 4.7机架式冷却工质供回液歧管10 4.8自封式快换接头10 05 液冷部件的设计考量 11 5.1冷却工质11 5.1.1浸润材料13 5.1.2过滤装置13 5.1.3冷却工质要求13 5.1.4冷却工质选择考量指标13 5.2冷板的设计与验证14 5.2.1冷板设计考量指标14 5.2.2冷板设计要求14 5.2.3冷板热性能要求15 5.2.4冷板热性能测试16 5.3冷量分配单元及冷却性能16 5.3.1冷量分配单元的考量指标16 5.3.2冷量分配单元冷却性能17 5.3.3冷量分配单元一次侧冷却系统17 5.3.4液冷群控系统18 5.4机架式冷却工质供回液歧管设计考量18 5.4.1冷却工质供回液歧管考量指标19 5.4.2冷却工质供回液歧管参考设计要求19 5.5冷板式液冷回路中循环泵的选择19 5.5.1泵的选择考量指标20 5.6快换接头的选择方法21 5.6.1快换接头考量指标21 5.7二次侧管路21 5.8背板空调22 泄漏检测和干预 23 06 压力安规24 07 结束语25 参考文献26 图片 图1冷板式液冷整体链路图2 图2开式冷却塔示意图5 图3闭式冷却塔示意图5 图4干冷器示意图5 图5冷塔+水冷冷机+板换系统示意图6 图6风冷冷水机组示意图7 图7闭式冷却塔/干冷器液冷系统示意图7 图8开式冷却塔冷却示意图7 图9冷板示意图（分体式）14 图10冷板设计热边界条件曲线15 图11冷板热性能和流阻曲线16 图12冷量分配单元热交换原理示意图16 图13机架式冷却工质供回液歧管示意图19 图14快换接头示意图21 图15直连式示意图22 图16环形管路示意图22 表格 表1一次侧和二次侧供液温度的参考值6 表2一次侧冷源建议方案7 表3水基冷却工质优缺点12 表4防冻液优缺点12 表5介电液体优缺点12 表6冷媒优缺点13 表7冷却工质液体热性能参数13 表8冷板设计考量参数14 表9冷量分配单元（CDU）考量参数17 表10GB/T29044-2012《采暖空调系统水质》中 集中空调间接供冷闭式循环冷却水系统标准18 表11ASHRAE一次侧循环水要求18 表12冷却工质供回液歧管考量参数19 表13冷却工质供回液歧管参考设计要求19 表14泵的选择考量参数20 表15快换接头考量参数21 表16环形管网参考设计输入22 1 导言 气候变化正给人类生产生活带来日益严峻的挑战。为在促进经济繁荣的同时保护地球，联合国制定了2030可持续发展目标，将降低能源碳强度，采取紧急行动应对气候变化及其 影响作为重要内容，推动全球各国提供更多资源和更明智的解决方案。2021年底发布的 《第五届联合国环境大会续会的部长级宣言草案》再次强调，推动绿色转型，减少碳和非碳温室气体排放，实现可持续发展目标。 中国高度重视落实联合国2030年可持续发展议程，并基于推动实现可持续发展的内在要求，将生态文明建设明确为国家战略，宣布了“碳达峰”和“碳中和”目标，让绿色低碳成为各行业转型升级和实现高质量发展的重要方向。 在全球落实可持续发展行动，中国积极推进生态文明建设的进程中，5G、人工智能、物联网等新技术的快速普及应用，在为各行各业高质量发展提供前所未有新动能的同时，也让作为新型基础设施的数据中心规模不断扩大，能耗持续高速增长。据相关估算，全国各类型数据中心用电量总和已约占全社会用电量的1.5%-2%左右，且机柜规模仍保持高速增长态势。参照美国劳伦斯伯克利实验室对美国数据中心产业发展相关研究估算，在不采取相关措施的情况下，数据中心总用电量有可能翻倍甚至更高。 面对不断增长的能源消耗与经济社会可持续发展的双重压力，加速数据中心运营模式的绿色转型成为当务之急。2021年5月，国家发改委等四部委联合发布《全国一体化大数据中心协同创新体系算力枢纽实施方案》，将绿色低碳列为基本原则，强调通过创新技术全面提高其能源利用效率；同年7月，工信部印发《新型数据中心发展三年行动计划 （2021-2023年）》,明确提出新建大型及以上数据中心电能利用效率（PowerUsage Effectiveness，PUE）降低到1.3以下。2022年1月，国务院印发“十四五”数字经济发展规划，随后国家发展改革委会同相关部门推进“东数西算”工程实施，强化数据中心绿色发展要求，强调大型、超大型数据中心PUE降到1.3以下，并在给多个算力网络国家枢纽节点启动的复函中，都将PUE指标控制在1.25以内。 在政策拉动以及数据中心降本增效等自身需求的驱动下，整个ICT产业积极采用创新技术和模式，围绕降低PUE这一关键指标，通过推进基础设施智能化、创新和采用制冷散热技术，以及提升能效与供电密度等系统化措施和多元化的技术与解决方案，综合性地创新数据中心高效节能体系，推动数据中心全生命周期降耗增效。 众冷板液冷生态伙伴以“创造改变世界的技术，改善地球上每个人的生活”为宏旨，在不遗余力地通过将可持续纳入产品设计、生产、使用全生命周期，系统化减少碳足迹的同时，聚力携手更广泛的产业伙伴开放创新，基于在数据中心可持续发展上构建起的完备解决方案矩阵，重点聚焦的数据中心机架电源设计、先进冷却技术和数据中心智能节能三个垂直领域，充分应用芯片、服务器、机架、数据中心四个水平方向的技术方案和丰富案例，继续深入实践，全方位、立体化推动数据中心不断实现能效优化和低碳转型。同时，还将继续与各界伙伴协同推进数据中心功率密度演进、液冷技术应用与设计等标准和规范建设，助力构建长效机制，引导数据中心加速迈向高效、清洁、集约、循环的绿色发展新纪元。 本《绿色数据中心创新实践——冷板液冷系统设计参考》是产业生态伙伴紧密合作、联合创新的重要成果之一，内容涵盖液冷一次侧及二次侧整个链路的设计（见图1），旨在与冷板液冷生态伙伴及潜在使用者分享对于冷板液冷技术关键部件设计选型的考量，其付梓发布也是要通过面向更广泛的产业伙伴展现冷板液冷技术关键部件的研究进展，来共同促其标准化，进而降低其设计与使用成本，推动建立并完善冷板液冷的生态系统，为推进数据中心行业加速脱碳转型，并以此支持各行各业实现低碳发展，共同为中国实现碳达峰、碳中和目标而做出新的贡献。 本文对参与冷板散热系统设计、验证、管路的连接组装、系统的检测及维护人员均具有参考意义。 一次侧 二次侧 闭式冷却塔（无压缩机） 冷量分配单元 风机 机房外墙 热交换单元 喷淋泵 泵 室外空气 出水进水 IT设备及冷板 机架+集分水器+快换接头 图1冷板式液冷整体链路图 2 数据中心能效发展趋势及一次侧冷却系统 2.1数据中心发展趋势 随着云计算、大数据、人工智能等新一代信息技术快速发展，数据呈现爆炸式增长。作为储存和计算基础设施的数据中心加速建设是大势所趋。 2.1.1数据中心总体能耗不断抬升 随着数字经济在人类活动中的占比逐渐增加，信息数据量激增，与之对应的数据分析、处理能力不断提升，使得服务器的密度越来越高，导致数据中心产生热量日益增多。据行业数据报告显示，预计未来5年，其仍将以15%~20%的速率持续增长，也将使未来数据中心行业用电占社会总用电量的比率进一步提升。 作为“新基建”的引领行业，数据中心是以技术创新为驱动和信息网络为基础的高质量发展行业，在为社会和工业的数字转型、智能升级、融合创新等服务提供基础设施体系的同时，快速增加的能源消耗也带来热点地区局部能源的稀缺和地域之间的不均衡。在北上广这些核心地区，很多潜在项目面临有房无电的窘境。因此，作为单体能源消耗密度高的行业，数据中心必须以绿色低碳、节能减排来应对快速发展带来的挑战，才能实现健康可持续发展。 根据相关国家政策要求，在未来布局的算力枢纽8大节点中，东部数据中心PUE需要降低到1.25以下（包括华南地区），西部地区 的数据中心PUE要求在1.2以下，且要求制冷系统采取新的解决方案。 2.1.2功率密度随需求不断提高 近年来，数据中心单位空间产生热量的瓦数正在不断上升，同时功率密度也在增加，严重制约了传统冷却方法和技术的进一步应用和推广。因此，液冷作为数据中心新兴的制冷技术，逐渐被人们接纳并应用。 UptimeInstitute发布的《2020全球数据中心调查报告》显示，2020年全球71%的数据中心平均功率密度低于10kW/机架，最常见是5~9kW/机架，平均单机架功率为8.4kW/机架，平均功率密度高于20kW/机架的数据中心约占16％。虽然整体功率密度相较于高性能计算（HPC）等领域还不算高，但总体上升趋势明显，相比于2017年的5.6kW/机架、2011年的2.4kW/机架增长显著。而且宏观上看，数据中心未来的功率密度还将继续上升。 造成这一趋势的原因主要有两个方面。一是从应用层面来看，计算密集型应用场景的激增，加上云业务广为互联网头部企业采用，导致承载这些应用负载的服务器设备功耗大幅增加，进而使得数据中心设计功率密度呈现逐年增大的趋势。 另外一个原因来自IT硬件层面。为了满足高算力负载需求，通过单机架叠加多核处理器提高计算密度，导致了IT硬件的处理器功耗显著 增加，也使得单机架功率密度越来越高。比如，从当前占据全球服务器CPU主要市场的英特尔®架构处理器看，英特尔®至强®可扩展处理器TDP（热设计功耗）从2019年的205W上升了到达现在的270W，在2023年初将达到350W，提升近一倍。而这在提供强大算力的同时无疑也带来散热困扰，而解决了散热瓶颈就意味着实现算力提升。 2.2数据中心液冷散热方案 采用风冷的数据中心通常可以解决12kW以内的机柜制冷。随着服务器单位功耗增大，原先尺寸的普通服务器机柜可容纳的服务器功率往往超过15kW，相对于现有的风冷数据中心，这已经到了空气对流散热能力的天花板。而液冷技术作为一种散热能力更强的技术，可以支持更高的功率密度。 2.2.1液冷的优势 •满足高功率密度机柜的散热需求。液冷的高效制冷效果有效提升了服务器的使用效率和稳定性，同时可使数据中心在单位空间布置更多的服务器，提高数据中心使用效率； •循环系统耗能少，系统噪音小。使用高比热的液体工质，冷却工质循环能耗少，且液冷简化了换热流程，也减小了风冷末端在房间输送冷风过程中受湍流影响所致的部分能量衰减的问题； •占地小，易于选址。使用液冷系统的数据中心相对于传统的风冷数据中心更加简单，去掉了庞大的末端空调系统，提高了建筑利用率，在小空间里也能布置足够规模的服务器，应用场景更易布置，受地理位置影响较小，全国布局皆可实现低PUE运行； •降低TCO，运营PUE较低，全年PUE可达到1.2以下。采用液冷散热方案的数据中心PUE比采用风冷的常规冷冻水系统降低0.15以上，可让有限的能源更多分配给算力，从而降低运行成本，增加算力产出； •余热回收易实现。相比传统水温，使用液冷方案的水温更高，温差大，热源品味和余热系统效率高； •适应性强。冷板式液冷兼容性强，易配套开发，不需改变原有形态和设备材料；空间利用率高，可维护性强，布置条件与普通机房相近，可直接与原制冷系统（常规冷冻水系统）兼容适应。 2.3基于冷板液冷方案的一次侧系统 对于液冷二次侧末端不同的水温需求，液冷一次侧冷源可采