数据中心冷板式液冷测试验证技术白皮书

数据中心需求量激增带来的高耗能、高排放与“双碳计划”之间的矛盾日益突出。工信部公布的数据显示，2021年全国数据中心总用电量达940亿千瓦时，2022年总用电量突破1000亿千瓦时。此外，随着单机柜功率密度的不断提升，数据中心面临能耗和散热的挑战越来越大。在此背景下，液冷技术在数据中心的应用得到行业广泛关注。 本白皮书概述数据中心液冷技术的优势和面临的问题，借助国家质量基础的方法论，通过测试验证技术的应用，从产品、系统、项目三个层级，探讨测试验证技术对冷板式液冷技术可靠性、能效提升等维度的影响，以期在满足高可靠性的基础上最大化的提升冷板式液冷技术的能效优势，实现冷板式液冷数据中心高质量发展。 本白皮书由中国通信工业协会数据中心委员会、中国计量科学研究院主编，液冷产品厂家、集成商、液冷数据中心业主、检测实验室等众多单位参编，在此表示感谢。 由于时间仓促，书中难免有不足之处，请同行专家批评指正，以便后续完善修正。 中国通信工业协会数据中心委员会中国计量科学研究院 中科智道（北京）科技股份有限公司中国质量认证中心 英特尔(中国)有限公司 浪潮电子信息产业股份有限公司 曙光数据基础设施创新技术（北京）股份有限公司新华三技术有限公司 山西数据技术有限公司 北京中科仙络咨询服务有限公司江苏四为信网检测技术有限公司中能测（北京）科技发展有限公司北京中测信通科技发展有限公司上海迪佑拂科技咨询服务有限公司北京数字科智技术有限公司 科华数据股份有限公司 深圳易信科技股份有限公司 广东申菱环境系统股份有限公司三河同飞制冷股份有限公司 南方电网大数据服务有限公司润泽科技发展有限公司 联想（北京）有限公司 德赛英创（天津）科技有限公司纯钧新材料（深圳）有限公司安徽星载智算科技有限公司 金和平潘建初沈庆飞黄超张晓雪张伟张开陈凯邢贺席家林林清民魏芳伟陈振国白本通刘和军孙宇黎小龙陈新丹陈刚孙地陈林李金波郭俊峰汪新新何伟宇刘运张小秋帅旗常乾坤徐欣吕俊哲申圳王龙杨瑞李兴粒沈诚祝敬周绍荣易明胡宇昭刘交通刘晶晶 目录 一、数据中心发展背景11 （一）数据中心高能耗现状11 （二）数据中心能效相关产业政策12 （三）数据中心发展趋势13 二、数据中心液冷技术介绍16 （一）液冷技术概述16 1、冷板式液冷（ColdPlateCooling）16 2、浸没式液冷（ImmersionCooling）17 （二）冷板式液冷技术介绍19 1、冷板式液冷技术原理19 2、冷板式液冷技术组成20 3、冷板式液冷技术在数据中心中的应用优势21 4、冷板式液冷技术应用场景22 （三）液冷技术面临的问题22 三、冷板式液冷产品级测试验证技术24 （一）液冷冷量分配单元（CDU）24 1、产品测试环境搭建24 2、模拟负载校准25 3、工艺性能测试26 4、性能测试28 5、功能及逻辑测试32 6、安规测试36 7、系统可维护性测试36 （二）快装接头37 1、外观结构检查38 2、材质相容性试测试40 3、材质耐老化性测试40 4、流动性能测试40 5、可靠性测试41 6、连接、断开循环测试44 7、连接力测试45 （三）液冷服务器冷板46 1、设计检验47 2、外观检查48 3、结构检验49 4、热性能测试50 5、可靠性测试51 （四）软管54 1、外观检查54 2、密封性测试55 3、环境适应性测试55 4、低温试验55 5、高温试验56 6、盐雾中性试验56 7、拉力测试57 8、变形测试57 9、扭转测试57 10、爆破试验58 11、阻燃测试58 12、绝缘电阻（安规）测试59 13、耐电压测试60 14、静液压试验60 15、霉菌试验61 16、洁净度测试61 17、振动适应性测试62 18、冲击适应性测试62 19、材质兼容性测试62 （五）分集水单元63 1、焊缝工艺检测63 2、管道清洗工艺检测64 3、耐压测试64 4、密封性测试64 5、输送测试65 6、快插头插拔泄露测试66 7、自动排气阀排气功能66 （六）冷却液66 1、外观及气味检查66 2、液体密度测试67 3、液体沸点测试67 4、液体倾点测试68 5、液体粘度68 6、液体闪点68 7、液体比热容69 8、液体热导率69 9、液体电导率70 10、残留物70 11、酸碱度70 12、细菌及微生物71 13、冷却液体毒性参数71 14、兼容性测试及要求73 四、冷板式液冷系统级测试验证技术74 （一）冷却系统测试验证75 1、冷却塔76 2、板式换热器78 3、冷水机组（如有）78 4、CDU79 5、循环泵80 6、管道及阀门81 （二）功能测试82 1、冷却塔82 2、板式换热器83 3、冷水机组83 4、CDU85 5、循环泵86 6、管道及阀门86 （三）性能验证87 1、冷却塔88 2、板式换热器88 3、冷水机组88 4、CDU89 5、循环泵89 6、管道及阀门89 （四）供配电系统测试验证90 1、电气系统测试验证概述90 2、电气系统测试验证要点90 （五）设备监控系统测试验证91 1、设备监控系统测试验证概述91 2、设备监控系统测试验证要点92 （六）自动控制系统93 1、自动控制系统测试验证概述93 2、自动控制系统测试验证要点94 （七）冷板式液冷项目测试验证案例分享96 五、冷板式液冷项目级测试验证技术96 （一）安全可靠性96 1、整体架构97 2、一次侧系统98 3、二次侧系统99 （二）能源利用效率100 1、水资源利用效率（WUE）100 2、冷板式液冷系统电能利用效率100 （三）冷板式液冷改造103 1、服务器级改造103 2、机柜级改造104 六、总结105 一、数据中心发展背景 （一）数据中心高能耗现状 物联网、互联网、人工智能等高速发展，使与之配套的数据中心基础设施需求量与日俱增。2023年4月国家互联网信息办公室对外发布了《数字中国发展报告（2022年）》，报告显示，我国数据中心机架总规模超过650万标准机架，近5年年均增速超过30%，在用数据中心算力总规模超180EFLOPS，位居世界第二。 数据中心需求量激增带来的高耗能、高排放与“双碳计划”之间的矛盾日益突出。关于数据中心的高能耗问题，国内不同研究机构给出的年能耗值不尽相同，工信部公布的数据显示，2021年全国数据中心总用电量达940亿千瓦时，2022年总用电量突破1000亿千瓦 时。图1所示，部分研究机构预测未来十年，国内数据中心耗电量将翻倍。事实上，随着数据中心节能新技术的应用，尽管算力需求持续高比重增长，未来的数据中心的高耗能、高碳排放的情况未必会到达如此高的水平，但这并不意味着IT行业和决策者可以高枕无忧。数据中心的绿色节能低碳发展依然是值得关注的重点课题。 图1数据中心年用电量趋势 （二）数据中心能效相关产业政策 2020年9月我国明确了“碳达峰、碳中和”目标，标志着中国对促进经济高质量发展，社会繁荣和生态环境保护的决心。2021年2月，国务院发布《关于加快建立健全绿色低碳循环发展经济体系的指导意见》，要求加快信息服务业绿色转型，做好大中型数据中心、网络机房绿色建设和改造，建立绿色运营维护体系。2021年6月国管局和国家发改委联合发布的《“十四五”公共机构节约能源资源工作规划》和同年11月由国家发改委、中央网信办、工信部、国家能源局四部委发布的《贯彻落实碳达峰碳中和目标要求推动数据中心和5G等新型基础设施绿色高质量发展实施方案》中均要求大型、超大型数据中心运行电能利用效率下降到1.3以下。2021年7月，工信部发布《新型数据中心发展三年行动计划（2021-2023年）》，提出坚持绿色发展理念，支持绿色技术、绿色产品、清洁能源的应用，全面 提高新型数据中心能源利用效率。 随着国家一系列政策的相继颁布，数据中心绿色、低碳发展作为数据中心高质量发展战略的重要部分应运而生。数据中心绿色、低碳发展通过创新节能技术提升设备的能效，充分利用可再生能源降低碳排放，进而推动数据中心作为数字化新基建的基础性支撑作用，驱动社会实现节能降碳的目标。 （三）数据中心发展趋势 数据中心的重要发展趋势（图3）就是基于解决新基建和数字经济等背景下需求量的激增与高耗能、高排放的矛盾。对于存量的数据中心，应采用精细化运维管理策略和节能改造等方案，提高数据中心的能源利用效率。对于新建数据中心，需采用节能新技术，比如高效利用室外自然冷源的制冷技术，余热回收技术，高效供配电系统设施等。 图2所示，是英特尔公司发布的《冷板式液冷推动数据中心可持续发展》中公布的京东某典型数据中心的各系统能耗分布图可以看出：基础设施各子系统中，冷却系统的能耗占比最大，其次是供配电系统的损耗。因此，节能、高效、高可靠性、低成本的制冷方案是实现数据中心可持续发展的重点。 液冷技术，具备高效的冷却性能，与图4所示传统的风冷数据中 心相比，液体的导热系数可以达到空气的6倍，同体积液体的比热容 是空气比热容的1000倍，并且一定程度上解决了图4所示数据机房气流组织不合理的问题。因此液冷不仅提升了冷却效率，最大化利用 室外自然冷源，同时还能够解决高功率密度的服务器散热难题，近年来得到了行业的广泛关注。 图2某典型数据中心各系统能耗分布图 图3数据中心发展趋势图 图4传统的风冷数据中心 二、数据中心液冷技术介绍 （一）液冷技术概述 近年来，数据中心的计算能力和能源需求呈指数级增长，为了支持不断增长的IT负载功率密度，液冷技术作为一种有效的支持高负载功率密度的解决方案开始进入大众视野。本章对液冷技术的定义、分类及应用方案进行全方位的阐述，并探讨液冷技术在数据中心面临的问题与挑战。 数据中心液冷技术是一种将液体作为热量传输介质来冷却数据中心设备的先进技术。其基本原理是通过将液体直接或间接地引入数据中心设备，利用其高热容量和高导热性，将设备产生的热量迅速带走，并有效地散发到环境中。相比传统的空气散热方式，液冷技术具有更高的散热效率和能源利用率，能够有效解决大规模数据中心的热管理问题。 1、冷板式液冷（ColdPlateCooling） 冷板是一种附着在服务器组件（如CPU和GPU）上的散热板。冷板液冷技术是指液体通过冷板来吸收热量，然后通过液体管道将热量传递到远离服务器的散热单元（图5）。图6所示为冷板式服务器构造图。数据中心冷板液冷技术架构通常由冷量分配单元（CDU）、水质过滤处理装置、分集水单元、快装接头、冷源设备、输配水泵管路阀部件等构成。 图5冷板式液冷原理图 图6冷板式服务器构造图 与传统的风冷服务器方案相比，冷板式液冷有几个优点：（1）更有效的热传递，因为液体比空气具有更高的热传输性能（如热导率，密度，比热容）；（2）冷却介质在整个系统分布均匀性由于空气冷却，减少热点并提高整个系统的可靠性；（3）能够实现更高的功率密度，可以有效地处理密集IT负载产生的热量，进而通过有效地消除热量，提高数据中心内关键设备的性能和寿命。 2、浸没式液冷（ImmersionCooling） 浸没式液冷是将整个服务器或其组件直接浸入液体冷却剂中的冷却方式。液体完全包围服务器元件，从而更加高效地吸收和散发热 量。这种方法能够显著降低服务器运行的温度，提高能效，但在部署时需要考虑到环境兼容性问题和设备维护问题。 浸没式液冷根据冷却工质换热过程中是否相变，可分为相变浸没式液冷和非相变浸没式液冷技术。非相变浸没式液冷技术原理是将IT设备直接浸没在绝缘冷却液中，冷却液吸收IT设备产生的热量后，通过循环将热量传递给热交换器中的水，然后通过水循环将热量传递到室外散热装置（图7）。 图7浸没液冷（非相变）原理图 相变浸没式液冷技术原理是将IT设备浸没在沸点低于IT设备工作温度的冷却工质中，当IT设备的运行温度达到冷却工质沸点时，会引起冷却工质的局部沸腾，从而带走IT设备运行时产生的热量（图8）。 图8浸没液冷（相变）原理图 （二）冷板式液冷技术介绍 数据中心冷板式液冷技术是一种采用冷板作为热传递介质来实现数