算力中心冷板式液冷发展研究报告（2024年）

算力中心冷板式液冷发展研究报告 版权声明 本报告版权属于中国信息通信研究院，并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的，应注明“来源：中国信息通信研究院”。违反上述声明者，本院将追究其相关法律责任。 (2024年) 中国信息通信研究院云计算与大数据研究所2024年5月 版权声明 本报告版权属于中国信息通信研究院，并受法律保护。 转载、摘编或利用其它方式使用本报告文字或者观点的，应注明“来源：中国信息通信研究院”。违反上述声明者，本院将追究其相关法律责任。 前言 数字经济时代，算力作为新的生产力，广泛融合到社会生产生活的各个方面。算力中心作为承载算力的物理底座，肩负着各类数字技术发展与应用的重任，是社会各产业数字化转型的基础动力。 近年来，国家高度重视算力中心产业的发展，多措并举夯实数字经济“算力底座”，相继发布多项政策文件，《新型数据中心发展三年行动计划(2021-2023年)》要求用3年时间，基本形成布局合理、技术先进、绿色低碳、算力规模与数字经济增长相适应的新型数据中心发展格局。《“十四五”数字经济发展规划》指出按照绿色、低碳、集约、高效的原则，持续推进绿色数字中心建设，加快推进数据中心节能改造，持续提升数据中心可再生能源利用水平。《算力基础设施高质量发展行动计划》明确提出坚持绿色低碳发展，全面提升算力设施能源利用效率和算力碳效水平。结合“双碳”等政策，我国算力中心产业正由高速发展向高质量发展全面演进。 伴随算力中心的高速发展，能耗快速增长成为算力中心产业发展中不可忽略的问题。依托于散热方面的显著优势，液冷散热或成未来主流散热方式。本蓝皮报告以算力中心冷板式液冷散热技术为切入点，通过发展必然性、技术分析、应用案例和趋势与展望四部分，详细阐述了算力中心冷板式液冷的技术背景、技术优势、未来趋势等关键问题。报告中列举的冷板式液冷各项技术参数、风冷算力中心改造、新建液冷算力中心工程案例等内容，不仅为业界提供 了真实有效的技术参考，也为制定科学有效的方案规划提供了决策依据，以期推动算力中心行业绿色低碳转型和高质量发展。 报告仍有诸多不足，恳请各界批评指正。如对本报告有建议或意见，请联系中国信通院云计算与大数据研究所算力团队dceco@caict.ac.cn。 一、算力中心冷板式液冷发展必然性.1 （一）政策背景：绿色发展备受关注，能耗要求日趋严格1 （二）发展环境：单机功率密度提升，散热问题愈发显著2 （三）标准走势：标准制定不断完善，行业发展持续规范4 （四）产业现状：系统节能潜力显著，技术迭代创新发展5 二、算力中心冷板式液冷技术分析.6 （一）冷板式液冷解决方案6 （二）冷板式液冷关键技术要素10 （三）冷板式液冷技术优势16 三、算力中心冷板式液冷典型应用案例.25 （一）基于英特尔®架构的超聚变冷板式液冷解决方案25 （二）基于英特尔®架构的京东云绿色算力中心高密度算力方案27 四、趋势与展望.29 图1冷板式液冷整体链路图7 图2一次侧冷却水余热回收示意图11 图3一次侧冷冻水并联余热回收示意图11 图4一次侧冷冻水串联余热回收示意图12 图5二次侧并联余热回收示意图13 图6冷却液分类图15 图72019-2023年我国算力中心耗电量（亿千瓦时）20 图8某大型冷板式液冷算力中心项目效果图26 图9液冷服务器部署示意图28 图10液冷服务器实际部署图29 一、算力中心冷板式液冷发展必然性 当前，人工智能、大数据等新一代信息技术迎来创新发展，数字经济已成为当前主要经济形态，数字化转型持续驱动生产方式、生活方式和治理方式发生深刻变革。算力中心作为数据传输、产生、汇聚、融合的重要场所，是各个行业信息系统运行的物理载体，在 “新基建”等利好政策的加持下，产业始终保持着良好增长态势。随着“东数西算”工程的纵深推进以及《数字中国建设整体布局规划》中数字中国建设目标的不断升级，我国算力中心产业发展步入新阶段，催生出新一轮算力中心建设高潮。尤其是“双碳”目标发布后，为进一步推动算力中心整体低碳化发展，促进算力中心机房的快速、高效散热，满足国家对算力中心绿色、节能等建设需求，液冷技术成为未来算力中心建设的重要选择。 （一）政策背景：绿色发展备受关注，能耗要求日趋 严格 算力中心行业的高耗能和碳排放问题引起诸多关注。近年来，我国算力中心在实现规模化、集约化的同时，算力中心耗电量也在不断攀升，设备部署呈现出“高密度、高耗能、异构化”等发展特点。在“双碳”战略目标和全球能源治理改革的宏观形式下，加快推动算力中心的绿色可持续发展势在必行。2021年10月，《关于严格能效约束推动重点领域节能降碳的若干意见》首次提到将数据中心行业纳入重点推进节能降碳领域。此外，为助力绿色低碳转型，国家和各地政府多次出台倡导节能减排的相关政策文件，在能耗总量限制 的基础上推进绿色节能的算力中心建设。 算力中心绿色低碳发展持续深化，主管部门对电能利用效率 （PUE）提出明确要求。PUE是算力中心最常见的评价性能指标，也是行业评价算力中心绿色性能的主要衡量指标，PUE值越接近于1，则代表算力中心的绿色化程度越高。近年来，各级主管部门对算力中心PUE要求持续提升。2021年7月，工信部印发《新型数据中心发展三年行动计划（2021-2023年）》明确提出，到2023年底，新建大型及以上数据中心PUE降到1.3以下。2022年1月，国家发改委同意启动建设全国一体化算力网络国家枢纽节点的系列复函中指出，国家算力东、西部枢纽节点数据中心PUE分别控制在1.25、1.2以下。2023年4月，财政部、生态环境部、工信部联合印发《绿色数据中心政府采购需求标准（试行）》中提出，自2023年6月起数据中心电能比不高于1.4，2025年起数据中心电能比不高于1.3。北京、上海、深圳等其他地方政府也相继对算力中心PUE提出了一定的限制要求。与此同时，国家持续鼓励算力中心在研发、测试和应用中，采用液冷相关技术，加大算力中心行业节能技术创新力度，提升能源利用效率。 （二）发展环境：单机功率密度提升，散热问题愈发 显著 我国算力中心规模保持高速增长，建设大型及以上算力中心成为主流模式。随着各行业数字化转型升级进度加快，全社会数据总量呈爆发式增长，人工智能、大数据、5G、IoT、AIGC等技术催生 海量多样数据，极大的推动了数据存储、计算、传输、应用需求，促进我国算力中心建设规模高速增长。截至2023年，我国提供算力服务的在用机架数达到810万标准机架，算力规模达到230EFLOPS1。大型以上算力中心机架数量占算力中心总机架规模比重逐年上涨。由此可见，高功耗、高密度的大型、超大型算力中心仍然作为未来建设的重点。 高算力需求进一步推动算力中心单机功率密度提升，大型算力中心的单机架功率密度已接近8kW，少数超大型算力中心的单机架功率密度已达20kW。当下，我国大型算力中心的建设加速及以ChatGPT为代表的新人工智能时代的到来，人工智能的应用需求日益凸显，处理大规模数据和复杂计算任务的高算力需求也不断增加。一方面，为了满足这些需求，算力中心需要提高单机架的计算能力，而通过增加处理器核数、内存容量和存储空间等方式提升单机功率密度是实现高算力需求的一种常用的策略。另一方面，受限于算力中心建设面积、环境保护规定和算力中心服务器承载能力等因素，提升算力中心单机柜功率密度成为有效疏解不断上涨的高算力需求的关键途径。 算力中心正在面临散热的挑战，液冷技术成为新型制冷解决方案。高功率的服务器和IT设备产生的热量不断增加，而算力中心的散热能力有限。因此，算力中心需要采用先进的散热技术，解决机柜间空气流动限制、散热设备容量不足、空间和布线限制等散热难 1来源：中国信息通信研究院 题，以确保服务器和IT设备的正常运行。当前，液冷技术通过冷却液体替代传统空气散热，降低服务器等设备温度实现自然散热，提升散热效果，已逐步成为一种新型制冷解决方案。液冷技术主要分为冷板式液冷、浸没式液冷和喷淋式液冷技术等技术类型，其中冷板式液冷技术作为成熟度最高、应用最广泛的液冷散热方案，更适用于高性能计算、高密度的算力中心领域，有利于促进算力中心绿色低碳发展、降低算力中心PUE。 （三）标准走势：标准制定不断完善，行业发展持续 规范 政策引导算力中心液冷技术落地提速。近年来，发改委、工信部等《全国一体化大数据中心协同创新体系算力枢纽实施方案》、工信部《新型数据中心发展三年行动计划（2021-2023年）》、发改委 《贯彻落实碳达峰碳中和目标要求推动数据中心和5G等新型基础设施绿色高质量发展实施方案》等相关政策明确提出推进算力中心液冷技术研发、采用液冷等节能技术模式。在国家、地方政府及行业政策引领下，算力中心应用液冷技术进入大规模的普及和建设阶段。 算力中心冷板式液冷技术标准制定步入“新常态”，行业朝向规范化发展。算力中心液冷技术作为一项新的“革命”技术，当前我国针对液冷技术的研究仍处于起步阶段，其液冷服务器的设计、运维、安防等方面的行业标准较为空缺，业界尚未形成统一的技术标准，增高了产业发展壁垒。得益于政策的支持与引导，液冷产业标准规范化迎来了快速发展，算力中心冷板式、浸没式、喷淋式液冷 服务器系统技术、冷却液技术和测试方法等行业标准如雨后春笋般出台。特别是冷板式液冷技术标准制定逐步朝向常态化、规范化迈进。中国信息通信研究院云计算与大数据研究所依托ODCC（开放数据中心委员会）“冰河”项目组，与业界联合起草发布的《数据中心冷板式液冷服务器系统技术要求和测试方法》行业标准，规定了算力中心冷板式液冷服务器系统的服务器、CDU和其他相关技术要求和测试方法，并适用于服务器的设施、部署、运维、测试等环节技术指导，为进一步推进冷板式液冷方案的可靠、高效和便捷夯实了坚实的基础。 （四）产业现状：系统节能潜力显著，技术迭代创新 发展 国外在算力中心液冷技术和产品方面起步较早，目前冷板式液冷市场主要以欧美公司为主，其中美国公司占比超过60%，是冷板式液冷多种技术路线的主要发展区域。我国液冷技术起步稍晚于国外，但起步后发展迅速，冷板式液冷技术是我国最早采用的液冷方式，相较于其他模式液冷方案，冷板式液冷在可靠性、可维护性、技术成熟度方面更为突出，且更符合算力中心机房改造程度、适应性等特征，广受算力中心运营商的青睐，目前其相关产品在市场上占比较高。 基于冷板式液冷在技术、生态、应用方面的发展基础，众冷板式液冷生态伙伴持续加速节能技术迭代创新。在服务器方面，打造整机柜服务器解决方案，实现高效节能、快速部署、便捷运维等方 面的全新升级；在散热材料方面，采用导热性能更佳的新一代散热材料，更高效地将热量从IT设备传导到冷却介质中；在控制系统方面，引入智能控制和自适应调节技术，实现对冷却系统的实时监测和调控，提升冷却系统的稳定性；在能源利用方面，采用能耗较低的冷却介质以及余热回收等方式，减少能源的消耗。积极推动算力中心不断实现能效优化和低碳转型。 多家企业纷纷推出冷板式液冷相关技术和产品，并在算力中心行业内有了一定规模的应用案例。超聚变冷板式液冷服务器解决方案通过先进的集中供电、总线盲插和原生液冷技术，实现节点、机柜、机房三级可靠性设计，PUE低至1.06，并获得全球首个TUV南德制冷PUE能效认证及全球首个TUV莱茵液冷防泄漏认证，已商用部署超过5万节点，成功应用于互联网、高校、政企、金融等领域，成为商用液冷新标杆。互联网厂商冷板液冷整机柜服务器在河北某算力中心大规模部署，其服务器通过模块化设计、一体化交付、高效运维部署等方式，提升IT设备散热效率。 二、算力中心冷板式液冷技术分析 （一）冷板式液冷解决方案 1.冷板式液冷方案概述 冷板式液冷技术是通过冷板2将芯片等发热元器件的热量间接传递给封闭在循环管路中的冷却液体，冷却液带走热量，并将其传递到一次侧回路，通过冷却系统进行冷却，最后将热量排出系统。 2通常是铜、铝等高导热金属构成的封闭腔体 冷板式液冷技术