冷板液冷标准化及技术优化白皮书

冷板液冷标准化及技术优化白皮书ODCC-2023-02004 1 [编号ODCC-2023-02004] 冷板液冷标准化及技术优化白皮书 开放数据中心委员会2023-09发布 冷板液冷标准化及技术优化白皮书ODCC-2023-02004 版权声明 ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。 I 冷板液冷标准化及技术优化白皮书ODCC-2023-02004 编写组 项目经理： 王舜北京秦淮数据有限公司工作组长： 李代程百度在线网络技术（北京）有限公司贡献专家： 张炳华北京秦淮数据有限公司 王长旺广州高澜创新科技有限公司耿曼广州高澜创新科技有限公司崔旭静北京奕信通科技有限公司李晓峰北京奕信通科技有限公司 刘凯艳曙光数据基础设施创新技术（北京）股份有限公司徐欣曙光数据基础设施创新技术（北京）股份有限公司李金波浪潮电子信息产业股份有限公司 韩玉普洛斯普瑞数据科技（上海）有限公司金超强普洛斯普瑞数据科技（上海）有限公司陈聪北京三快云计算有限公司 李瑞雅北京秦淮数据有限公司刘永彬北京秦淮数据有限公司冯臣北京秦淮数据有限公司 刘帆中兴通讯股份有限公司翁建刚中兴通讯股份有限公司 李新起深圳市英维克科技股份有限公司黄强深圳市英维克科技股份有限公司王宏彬丹佛斯（中国）投资有限公司 II 冷板液冷标准化及技术优化白皮书ODCC-2023-02004 李慧勇新华三技术有限公司陈立波新华三技术有限公司魏芳伟科华数据股份有限公司沈嘉辉科华数据股份有限公司 董玉山中航光电科技股份有限公司杨占喜ColderProductCompany 李洁中国信息通信研究院 郭亮中国信息通信研究院吴美希中国信息通信研究院阮迪中国信息通信研究院 III 冷板液冷标准化及技术优化白皮书ODCC-2023-02004 前言 本规范由开放数据中心标准推进委员会发布。 2015年，OpenAI成立，通过GPT（GenerativePre-trainedTransformer）算法，在2018年6月推出了GPT-1（1.2亿参数），在2019年11月增加了训练的数据量后推出了GPT-2（15亿参数），在2020年6月推出了GPT-3（1750亿参数）。随着数据参数的加大发现差异很小，后加入人工反馈强化学习来提升对话质量，在2022 年3月推出了GPT-3.5；对话优化后，在2022年11月就推出了 ChatGPT。月活人数突破1亿仅用时两个月。2023年2月7日微软将ChatGPT引入到搜索引擎Bing正式发布。除了微软，谷歌、Meta、百度、腾讯、阿里巴巴纷纷入局进军生成式AI。生成式AI模型需求的暴涨，使得对芯片的需求从CPU+加速器转变为以GPU主导的大规模并行计算。未来，在单芯片性能之上，智算中心能够通过算力的生产-调度-聚合-释放，支持AI产业化发展。现阶段，单CPU热设计功耗为150～200W，最高可达350W；单GPU热设计功耗为300～400W，最高可达700W。与此同时，服务器功耗从传统服务器的1kW增加到AI服务器的6.5～10kW。空气冷却解决成本和难度大幅上升，英伟达、英特尔等芯片公司已经开始将冷却的方式转向液冷。 液冷是指通过液体代替空气冷却芯片，根据液体与芯片是否接触可以分为直接液冷和间接液冷。直接液冷包括浸没液冷和喷淋液冷，浸没液冷又分为单相浸没和两相浸没。而间接液冷主要是冷板液冷。早在20世纪60年代，IBM就推出了用冷板液冷冷却的计算 IV 冷板液冷标准化及技术优化白皮书ODCC-2023-02004 机产品。直到21世纪初，美国GRC（GreenRevolutionCooling）公司推出了单相浸没冷却解决方案。2017年，广东合一推出了喷淋式液冷。2019年曙光完成全球首个大规模刀片式浸没两相液冷商业应用项目。2021年，微软发布了箱体式两相浸没液冷方案。而冷板液冷作为历史最悠久，技术最为成熟，生态系统最为丰富的液冷解决方案，它的爆发已经到来！ 本白皮书倾注了作者大量的时间和精力，其成文也仰仗各参编老师撰写并参与讨论，其次，本文得到程军先生、王锋先生、何智强先生和袁达人先生提供的产品资料，在此对上人员做出的贡献表示由衷的感谢。此外，本文很多化工类专有名词的解释均得益于ChatGPT，令人充分感受到科技的便利和AI的潜力。最后，作者尽量用实物照片为读者生动呈现相关技术和产品，希望通过本白皮书促进冷板液冷技术快速迭代优化，为读者在冷板液冷的实践和决策提供有价值的信息和建议。 由于时间仓促，水平所限，错误和不足之处在所难免，欢迎各位读者批评指正。如有意见或建议请联系dceco@caict.ac.cn。 V 冷板液冷标准化及技术优化白皮书ODCC-2023-02004 目录 版权声明I 编写组II 前言IV 冷板液冷标准化及技术优化白皮书1 一、概述1 二、术语、定义和缩略语1 三、冷板液冷介绍8 （一）冷板液冷技术介绍8 1.冷板液冷发展历程8 2.冷板液冷技术原理10 3.冷板液冷技术特点12 4.冷板液冷关键技术15 （二）常用产品器件介绍16 1.冷板组件17 2.快速接头QDC20 3.软管24 4.机柜工艺冷媒供回歧管RCM25 5.冷量分配单元CDU26 6.环路工艺冷媒供回歧管LCM29 7.冷源30 8.工艺冷媒34 （三）冷板液冷发展面临的主要挑战40 VI 冷板液冷标准化及技术优化白皮书ODCC-2023-02004 1.水质40 2.泄漏42 3.冗余路由44 4.高成本44 5.建设周期长45 6.能耗问题45 7.冷源水耗46 四、工程标准化及设计要求46 （一）标准化现状及需求46 1.标准化现状46 2.标准化需求48 （二）工程标准化设计要求50 1.二次侧管路50 2.功能要求54 （三）典型案例介绍55 1.江苏某大数据产业园项目55 2.厦门某智算中心57 3.山西某大规模冷板液冷数据中心58 4.广州科云数据中心59 五、接液材料研究60 （一）传统材料61 （二）国外推荐材料61 1.金属与金属合金类61 2.合成橡胶、塑料和其它材料类63 VII 冷板液冷标准化及技术优化白皮书ODCC-2023-02004 （三）国内常用非金属材料65 1.管路及接头材料65 2.密封件材料69 （四）新材料管路设计制造及测试方法72 1.设计原则72 2.管路制造74 3.测试74 （五）其它行业领域冷板液冷新材料应用76 1.直流输电领域76 2.静止无功补偿装置SVC冷却领域77 3.储能领域78 （六）数据中心新材料应用案例81 1.国内数据中心案例81 2.国外数据中心案例83 六、冷板液冷新技术展望89 （一）负压冷板液冷技术89 1.技术背景介绍89 2.负压CDU技术原理89 3.负压液冷系统方案技术亮点92 4.应用案例94 （二）相变冷板冷却技术97 1.重力热管方案97 2.动力热管方案98 （三）冷板液冷气-液混合技术98 VIII 冷板液冷标准化及技术优化白皮书ODCC-2023-02004 1.风冷CDU99 2.气-液组合末端102 3.气-液同源冷源102 参考文献105 IX 冷板液冷标准化及技术优化白皮书ODCC-2023-02004 冷板液冷标准化及技术优化白皮书 一、概述 随着AI时代的到来，冷板液冷技术作为一种解决高算力发热的冷却方式，已经成为行业最热门的话题之一，得到越来越广泛的关注。本文将分四个部分进行展开： 第一部分：对冷板液冷技术进行介绍，从发展历程、技术特点、关键技术、器件组成等方面逐一介绍，并指出其发展面临的主要挑战。 第二部分：对冷板液冷的工程标准化进行分析，从标准化的现状，到标准化的需求，并指出设计和功能要求，最后分享一些典型数据中心案例。 第三部分：通过接液材料的详细描述，为读者呈现除传统材料外，其他行业领域和国内外数据中心对新材料的应用情况分享。 AFLAS AsahiGlassFluoroelastomer的简写。它是由日本旭硝子株式会社（AsahiGlassCo.,Ltd.）开发的一种特殊的氟橡胶材料，学名是聚四氟乙烯-聚丙烯共聚物，它具有优异的耐化学性、耐高温性、耐油性和耐候性，常用于制造密封件。 CDA 铜发展协会（CopperDevelopmentAssociation）。 CDU 冷量分配单元（CoolantDistributionUnit）用于实现液冷系统的二次侧冷却环路驱动、稳压和自动配流，同时实现一二次 第四部分：对近几年冷板液冷出现的新技术进行介绍和展望。二、术语、定义和缩略语 1 冷板液冷标准化及技术优化白皮书ODCC-2023-02004 侧循环系统热量交换、物理隔离等功能的单元。 CLF 制冷负载系数（CoolingLoadFactor），一般定义为数据中心制冷设备耗电与IT设备耗电的比值。本文提到的冷板液冷CLF指的是冷板液冷系统的耗电与对应液冷部分IT设备耗电的比值。 CPU 中央处理器（CentralProcessingUnit），它是服务器的核心组件之一。 CPVC 氯化聚氯乙烯（ChlorinatedPolyvinylChloride），是一种特殊的塑料材料，是PVC经过氯化处理而制成的。它具有出色的阻燃性能和耐化学腐蚀性能，广泛应用于管道系统、化工设备、火灾喷淋系统、电力线路绝缘和建筑材料等领域。 CRAC 计算机房空调器（ComputerRoomAirConditioner），其主要是指带压缩机的蒸汽压缩制冷循环系统，通过制冷剂蒸发将机房空气热量带到室外的空调。 CRAH 计算机房空气处理器（ComputerRoomAirHandler），其主要是指通过冷冻水将机房空气热量带走的冷冻水末端空调。 CSPE 氯磺化聚乙烯（ChlorosulfonatedPolyethylene），也被称为海普隆Hypalon®。它是一种通过将聚乙烯与氯和硫进行反应而制得的合成橡胶，其特性包括耐候性、耐辐射、抗化学腐蚀和电绝缘性能。 DCLC 直接接触式液体冷却（DirectContactLiquidCooling），DCLCTM被CoolIT公司注册，特指冷板液冷的间接式液冷，直接接触指的是冷板（而非工艺冷媒）与CPU等发热源的直接接触。 EPDM 三元乙丙橡胶（EthylenePropyleneDieneMonomer），是一种合成橡胶。 EPR 乙烯丙烯橡胶（EthylenePropyleneRubber），是一种合成橡胶。 ETP 它是由乙烯（Ethylene）、四氟乙烯（Tetrafluoroethylene）和丙烯（Propylene）通过共聚反应制得的共聚物，ETP型氟橡胶是一种高性能的氟橡胶材料，具有出色的化学稳定性、耐热性和耐油性。 FEP 聚全氟乙丙烯（FluorinatedEthylenePropylene），是一种热塑性聚合物，由四氟乙烯和含氟单体（如四氟乙烯醚）共聚 2 冷板液冷标准化及技术优化白皮书ODCC-2023-02004 而成。它具有类似于PTFE的出色耐化学腐蚀性、低摩擦系数和优异的耐高温性能。相比于PTFE，FEP具有更低的熔融温度，更容易地加工成各种形状。 FKM 含氟弹性橡胶（Fluoroelastomer），也称氟碳橡胶（FluorocarbonRubber），是一种特殊的橡胶材料，具有出色的耐化学腐蚀性能和高温稳定性。 FWS 设施水系统（FacilitiesWaterSystem）,冷源与CDU之间的水系统，即一次侧冷冻或冷却水系统。 GF GF型氟橡胶是由氟化碳单体聚合而成，添加了玻璃纤维（GlassFiber）增强剂的氟