全预制液冷冷源技术白皮书

全预制液冷冷源技术白皮书ODCC-2022-02107 分布式存储技术与产业分析报告 1 [编号ODCC-2022-02107] 全预制液冷冷源技术白皮书 开放数据中心标准推进委员会 2022-09发布 全预制液冷冷源技术白皮书ODCC-2022-02107 前言 起草单位：百度时代网络技术(北京)有限公司、中国信息通信研究院（云大所数据中心团队）、广东海悟科技有限公司、中航光电科技股份有限公司、华为数字能源技术有限公司、深圳市英维克科技股份有限公司 起草人：王浩、陈建雄、吴美希、宫伟文、张兆明、刘近月、龚政、董永申、范思邈、王前方等 II 全预制液冷冷源技术白皮书ODCC-2022-02107 目录 一、适用范围1 二、编写依据1 三、应用背景2 （一）数据中心液冷发展趋势2 1.国家战略—“双碳”目标2 2.国家工程—“东数西算”2 3.能效指标—PUE与WUE4 （二）数据中心预制化交付趋势6 （三）数据中心液冷技术概述7 1.冷板式液冷系统7 2.浸没式液冷系统8 （四）全预制液冷冷源必要性8 四、产品类型及技术指南9 （一）开式塔+板换+泵组预制冷源产品9 1.产品架构及技术要求9 2.开式塔设计要求11 3.板式换热器设计要求12 4.水泵设计要求14 5.水处理设计要求15 6.产品监测与控制16 7.产品预制与安装20 III 全预制液冷冷源技术白皮书ODCC-2022-02107 8.产品运行与维护22 （二）闭式塔+泵组预制冷源产品23 1.产品架构及技术要求23 2.闭式塔设计要求25 3.水泵设计要求26 4.水处理设计要求28 5.产品监测与控制29 6.产品预制与安装30 7.产品运行与维护32 （三）干冷器+泵组预制冷源产品33 1.产品架构及技术要求33 2.干冷器设计要求35 3.加湿设计36 4.水泵设计要求38 5.产品监测与控制39 6.产品预制与安装40 7.产品运行与维护42 （四）泵驱两相预制冷源产品43 1.产品架构及技术要求43 2.蒸发式冷凝器设计要求45 3.氟泵设计要求46 4.产品监测与控制46 5.产品预制与安装47 IV 全预制液冷冷源技术白皮书ODCC-2022-02107 6.产品运行与维护49 结束语51 V 全预制液冷冷源技术白皮书ODCC-2022-02107 一、适用范围 未来数据中心冷却系统发展液冷系统占重要地位，且无论超大规模数据中心还是边缘数据中心均有快速部署的需求，本白皮书适用于新建、改建和扩建的数据中心液冷系统的设计、建设和运维管理。包括多种应用场景下液冷冷源方案架构介绍、选型设计要点、控制逻辑策略及相关预制化部件技术要求，这也是业内首次提出将液冷冷源以集成产品的形态完成设计，以达到液冷系统敏捷、快速、灵活交付的目的，为液冷系统设计、交付以及运维人员提供技术参考。 二、编写依据 《数据中心设计规范》GB50174 《民用建筑供暖通风与空气调节设计规范》GB50736 《公共建筑节能设计标准》GB50189 《通风与空调工程施工质量验收规范》GB50243 《制冷设备、空气分离设备安装工程施工及验收规范》GB50274 《工业循环冷却水处理规范》GB50050 《板式换热器》GB16409 《机械设备安装工程施工及验收通用规范》GB50231 《清水离心泵能效限定值及节能评价值》GB19762 《风机、压缩机、泵安装工程施工及验收规范》GB50275 《通风与空调工程施工规范》GB50738 1 全预制液冷冷源技术白皮书ODCC-2022-02107 《2020年中国液冷数据中心发展白皮书》 三、应用背景 （一）数据中心液冷发展趋势 1.国家战略—“双碳”目标 自2020年9月22日，国家主席习近平在第七十五届联合国大会一般性辩论上发表重要讲话，首次提出碳达峰、碳中和目标。目前，伴随碳达峰、碳中和时代的到来，数据中心步入新的黄金发展期，数字经济为我国GDP的增长开辟新途径。2021年我国数字经济规模达到39.2万亿，占整个国家GDP大约38.6%，数字经济作为国家发展战略，是我国基础性、战略性资源，国家将数据中心纳入新基建重要组成部分。数据中心作为“新基建”的七大领域之一，也为5G基建、特高压、城际高铁和城市轨道交通、新能源汽车充电桩、人工智能、工业互联网等其他六大领域提供直接和间接的支撑。 数据中心的快速发展和规模不断壮大，导致其能耗总量不断增长，是我国数据中心发展建设面临的重大挑战。为维持数据中心安全稳定运行需要将产生的热量及时排出，故而衍生出IDC冷却行业，作为制冷空调领域重要组成部分的IDC冷却技术也面临前所未有的发展与机遇，催生出了一系列绿色、节能、环保、低碳的技术形式，为我国数据中心冷却行业早日实现碳中和奠定基础。 2.国家工程—“东数西算” 我国数据中心目前大多分布在东部地区，在土地、能源等资源紧张的形势下东部继续大规模发展数据中心难以为继。而我国西部地区资源充裕，特别是可再生能源丰富，具备发展数据中心、承接东部算力需求的潜力。实施“东数西算”工程，推动数据中心合理布局、优化供需、绿色集约和互联互通，有利于提升国家整体算力水平，实现算力的规模化和集约化； 2 全预制液冷冷源技术白皮书ODCC-2022-02107 有利于促进绿色发展，就近消纳西部绿色能源，持续优化数据中心能源使用效率。 2022年2月17日，国家发改委、中央网信办、工业和信息化部、国家能源局联合印发通知，同意在京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏等8地启动建设国家算力枢纽节点，并规划了 10个国家数据中心集群，“东数西算”工程正式全面启动。 2022年3月，提请十三届全国人大五次会议审查的计划报告提出，实施“东数西算”工程。“东数西算”是我国继“南水北调”“西电东送”“西气东输”以后，又一项优化资源配置、一体化布局的国家级工程。 随着“东数西算”工程全面启动，各地算力建设将掀起热潮。高效提升算力，数据中心高效冷却成为关键！“东数西算”工程的理念之一是降低冷却系统的能耗，不同气候下的冷却方案是“东数西算”的重要基础。 3 全预制液冷冷源技术白皮书ODCC-2022-02107 “东数西算”工程聚焦创新节能，在集约化、规模化、绿色化方面着重发力，支持高效供配电技术、制冷技术、节能协同技术研发和应用，鼓励自发自用、微网直供、本地储能等手段提高可再生能源使用率，降低数据中心电能利用率（PUE），引导其向清洁低碳、循环利用方向发展，推动数据中心与绿色低碳产业深度融合，建设绿色制造体系和服务体系，力争将绿色生产方式贯彻数据中心全行业全链条，助力我国在2060年前实现碳中和目标。 3.能效指标—PUE与WUE 对于数据中心能效评价，一般采用电能利用效率PUE，PUE数值代表了数据中心的电能利用效率，当提供相同的服务、IT设备的能耗也相同时，总能耗越低的数据中心PUE值越低，说明其能源效率越高。 4 全预制液冷冷源技术白皮书ODCC-2022-02107 数据中心不仅要实现节能，同时要考虑节水措施，我国是世界第一人口大国，人均水资源只占世界人均淡水资源的四分之一，每年总体降水量基本保持稳定，淡水资源地区分布不平衡现象严重，是一个严重缺水的国家，我国大量淡水资源集中在南方，北方淡水资源只有南方的四分之一。造成水资源短缺的主要原因是水资源时空分布不平衡，从空间上看，我国水资源南多北少、东多西少，从时间变化来看，我国水资源季节变化性大，夏秋多、冬春少，因此我国启动南水北调、引黄入晋等跨流域的超大型调水工程。 对于一个IT设备15MW的数据中心，每年采用水冷冷却方式，就会消耗50万吨水。若对我国数据中心耗水进行估算，假定单机架IT设备平均功率按照5KW/R计算，采用水冷空调方案的数据中心按70%计算，WUE平均值根据2.0计算，预估计我国2022年水冷数据中心的年用水量为2亿吨。 水是我们的生命之源，我国又是一个缺水的国家，数据中心耗水量较大，故而在数据中心领域需要采取节水行动。从冷却设备PUE、WUE两方面衡量，数据中心冷却设备需要实行“南水北风”的思路，即南方采用WUE较低的蒸发冷、水冷，北方条件足够的前提下采用风冷也可以满足节能、节水需求。 数据中心冷却本质为在一定温差驱动下，将数据中心热量从数据中心内部搬运到室外的过程，数据中心领域制冷技术日新月异，低电能利用率 （PUE）的方案也层数不穷，其中传热环节最少、冷却效率最高的当属液冷技术（芯片级冷却），它可以直接对服务器芯片进行散热，液冷与常规空气冷却传热环节比较，常规空气冷却经历了多次热交换，自然冷却利用程度低，而液冷直接冷却芯片，自然冷源利用率高，可以实现全年自然冷却，无需辅以蒸汽压缩制冷技术，能耗低。 5 全预制液冷冷源技术白皮书ODCC-2022-02107 a液冷传热温差b空气冷却传热温差图3.1液冷与风冷温差对比 作为数据中心新兴的高效冷却技术，更新高性能服务器等硬件设备成为液冷技术发展的底层需求。随着全国一体化大数据中心体系完成总体布局设计，“东数西算”工程正式启动，液冷也将快速发展，液冷不仅是制冷方式的改变，更可能变革整个数据中心生态。 （二）数据中心预制化交付趋势 18个月,不只是摩尔定律屡试不爽的黄金周期,也是一千机柜规模数据中心建设完成的通常期限。作为云计算与智能化时代的基座,尽管数据中心的整体数量在不断增加,但依然难以满足指数级爆发的算力需求。在更短时间内高质量建设规模化的数据中心,成为解决算力供需缺口、适应多元场景的核心诉求。 随着数据中心行业“工程预制化，预制产品化，产品智能化”的理念的发展,预制模块化数据中心日益受到青睐,采用整装设备全工厂预制，与园区土建施工并行开展，工程现场“乐高式”快速堆叠，。在各个单元或系统模块化、预制化的基础上,数据中心的建设周期有望缩短50%以上,同时达成节能降耗的目标,并能灵活应对不同类型的需求。 6 全预制液冷冷源技术白皮书ODCC-2022-02107 （三）数据中心液冷技术概述 一方面，随着双碳诉求的进一步提升，作为耗电大户的数据中心备受业界关注，而其冷却系统能耗占比更是高达40%，节能潜力巨大；另一方面，芯片计算密度和功率快速攀升，对高效散热需求也日益迫切；因此，具有节能降噪、高效散热等优势的液冷技术将成为数据中心制冷革新的关键技术之一。 液冷散热是指以高比热容液体作为循环冷却介质的散热技术，液体冷却介质将发热元件产生的热量带走，使之冷却。根据发热元件与液体冷却介质的不同接触方式，液冷散热技术可被分为直接液冷和间接液冷。其中直接液冷技术主流应用为浸没式液冷，间接液冷技术主流应用为冷板式液冷。此外，业内还有喷淋式液冷、冷板相变液冷等形式，此处不做过多赘述。 图3.2板式液冷与浸没液冷原理 1.冷板式液冷系统 数据中心单相冷板式液冷系统将液冷冷板固定在服务器CPU、GPU上，依靠流经冷板的冷却介质将热量带走，达到散热目的，包括一次侧冷源系统及二次侧液冷系统，二次侧液冷系统主要包括CDU、工程管路、Manifold、冷板组件、软管组件、流体连接器等，冷却介质采用去离子水、乙二醇水溶液或丙二醇水溶液；解决服务器芯片高热流密度散热问题。 7 全预制液冷冷源技术白皮书ODCC-2022-02107 图3.3板式液冷二次侧 2.浸没式液冷系统 数据中心单相/相变浸没液冷系统将发热元件直接浸没在冷却介质中，依靠冷却介质的循环流动带走服务器等设备运行产生的热量，均温性好、维护方便，包括一次侧冷源系统及二次侧液冷系统，二次侧液冷系统主要包括CDU、工程管路、TANK等。 图3.4浸没液冷二次侧 （四）全预制液冷冷源必要性 全预制液冷冷源即将一次侧冷源系统进行全预制，实现去工程化，从而解决以下问题： 1)设计复杂：传统工程多专业、多内容分别进行设计，冷源系统设计深度不够，反复提资、勾兑，易漏项； 8 全预制液冷冷