单相浸没式液冷散热技术白皮书

[编号：ODCC-2023-09007] 单相浸没式液冷 散热技术白皮书 单相浸没式液冷散热技术白皮书 版权声明 浸没液冷智算产业发展论坛发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用浸没液冷智算产业发展论坛成果中的文字或者观点的，应注明来源：“浸没液冷智算产业发展论坛”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，浸没液冷智算产业发展论坛及有关单位将追究其法律责任，感谢各单位的配合与支持。 I 单相浸没式液冷散热技术白皮书 编制说明 本报告由阿里云计算有限公司牵头撰写，在撰写过程中得到了多家单位的大力支持，在此特别感谢以下参编单位和参编人员： 参编单位（排名不分先后）： 阿里云计算有限公司、中国信息通信研究院、OPPO广东移动通信有限公司、英特尔（中国）有限公司、3M中国有限公司、富士康工业互联网股份有限公司、浙江音默森网能科技有限公司 参编人员（排名不分先后）： 钟杨帆、郭亮、文芳志、唐虎、龚海峰、杜黎光、张光颖、谢丽娜、田文斌、张志超、郭锐、曹洪浩、刘向东、杨拯、王铖健、蓝斌、贺永宝、张楠、杨静、张锦红、鲍处瑾 项目经理：钟杨帆 Yangfan.zyf@alibaba-inc.com II 单相浸没式液冷散热技术白皮书 前言 数字时代，大量的生产生活离不开计算力的支撑。绿色低碳的未来是人类共同的追求，中国已经明确提出“3060前”双碳目标，应对气候变化态度积极明确，行动坚决有力。中国的碳中和承诺给中国企业提出了新的要求，全社会应该共同参与进来。人们无时无刻不在使用的互联网，也需要加速履行“碳”责任。在“双碳”目标引领下，降低计算能耗，推动“绿色计算”十分关键。业内常用PUE（PowerUsageEffectiveness）评价数据中心能源效率。PUE值越接近1，表示一个数据中心的绿色化程度越高；最近研究表示，PUE虽不能完全反映IT全部效率，但它仍然是衡量数据中心设施除IT设备使用的电力外还使用多少电力的重要指标。 图1显示Uptimeinstitute机构对过去十多年全球上千个数据中心的PUE进行了统计分析，随着冷却技术和数据中心热管理技术的不断演进，PUE值得到了明显降低，但近年来，PUE下降趋势逐步平缓。所以现在数据中心迫切需要更先进的冷却和热管理技术来进一步提高能源利用效率。 图1全球数据中心行业的电源使用效率（PUE）变化趋势，来源：UptimeInstitute III 单相浸没式液冷散热技术白皮书 典型数据中心能耗构成如图2所示。其中，数据中心能耗比重最大的部分为IT设备，其次为制冷系统设备、供配电系统设备及其他消耗电能的数据中心设施。 图2典型数据中心完整能耗构成及TUE指标 数据中心有相当一部分电力用在解决芯片散热冷却上，所以真正用在计算上的用电效率为TUE，即总的电力输入/纯IT设备计算用电。因此，发展“绿色计算”需要整体来看，减小数据中心冷却能耗，IT设备散热能耗、提升电能使用效率，成为数据中心绿色运行的重要方向。 本白皮书基于全流程的视角，从数据中心和IT设备全局出发，对液冷技术的演进趋势和能效进行了梳理，对单相浸没式液冷散热架构，传热性能相关参数，不同冷却液，不同散热器技术支持能力，进行了重点分析。由于时间仓促，水平所限，错误和不足之处在所难免，欢迎各位读者批评指正。如有意见或建议请联系yangfan.zyf@alibaba-inc.com。 IV 单相浸没式液冷散热技术白皮书 目录 版权声明I 编制说明II 前言III 1.液冷技术的演进1 2.单相浸没式液冷散热架构3 3.单相浸没式液冷传热性能相关参数7 4.散热能力分析验证12 4.1不同散热器技术方案热性能差异对比12 4.2不同散热器翅片材料热性能差异对比13 4.3导热界面材料热性能差异对比14 5.其他因素对散热性能的影响15 5.1系统内其它热源开启后散热性能的影响15 5.2热源在箱体内不同的位置（垂直方向）对散热性能的影响16 5.3散热器放置方向对性能的影响18 6.高性能冷却液参数需求说明19 V 单相浸没式液冷散热技术白皮书 1.液冷技术的演进 数据中心的液冷技术是指使用高比热容的液体作为热量传输的工质满足服务器等IT设备散热需求的冷却方式。这种技术主要是针对高热流密度的场景，提供的一种节能先进的冷却方法。热流密度，也称为热通量，是指单位时间通过单位面积的热能，其单位为W/c㎡，即瓦特每平方厘米）。在高热流密度的场景下，如何带走大量的热，是需要考虑各种限制条件，进行具体设计的。液体的比热远远大于空气，有利于提高传热效率，降低传热耗能。基于这个特点，采用液冷进行冷却服务器内部的高热流密度芯片，是可以更加节能高效的。 从芯片的应用来看，目前大数据，云计算，人工智能等新技术日新月异，对于大功率处理器的需求也增长迅速；这也直接导致了数据中心部署大量的高功率机柜，为各种算力需求提供基础条件。对于大型数据中心，高功率机柜更加凸显节能的重要性，采用液冷解决方案可以直接为数据中心业主降低PUE，节约大量的电费。 从液冷技术的不断发展，我们可以总结看到数据中心液冷技术演进：早期的精密空调微模块辅助换热冷板式液冷浸没式液冷，冷却液体越靠近芯片器件，整体液冷越高效； 微模块PUE1.35-1.45全浸没式液冷PUE小于1.09 液体不断逼近器件，PUE优化，从2.x到1.x，再从1.x向极限1.0迈进 精密空调PUE1.6-2.2 冷板式液冷PUE1.18-1.26 图3数据中心液冷技术发展演进趋势 1 单相浸没式液冷散热技术白皮书 数据中心真正能评估实际用在计算上的用电效率为TUE，总的电力输入/纯IT设备计算用电。 如图4所示，以PUE为1.5的风冷数据中心为基准，采用板级液冷，其PUE为1.25，全浸没式液冷PUE为1.09，从PUE值对比来看，板级液冷对比风冷PUE下降16.67%，全浸没式液冷对比风冷下降27.33%；然而TUE实际为板级液冷对比风冷PUE下降20.83%，全浸没液冷对比风冷下降34.60%； PUE 空气冷却 1.500 对比空气冷却 ITUE 对比空气 TUE 图4不同冷却技术能效对比 浸没式液冷技术的成熟和普及应用为数据中心节能降耗带来了全新解决方案。 2 单相浸没式液冷散热技术白皮书 2.单相浸没式液冷散热架构 从整个浸没式液冷系统的组成来看，主要由四部分组成，包括冷却液体， IT部件，IT设备，机柜系统，室外散热设备等，整体架构如下所示： 图5单相浸没液冷系统技术架构 《数据中心设计规范》GB50174-2017规定： 1、C级数据中心属于运行可以中断的数据中心，不宜承载特别重要的业务。其液冷子系统配置应满足正常运行的需要，容易受到有计划和非计划活动的影响，存在单点故障。在每年履行的预防性维护和维修期间，基础设施允许全部关闭，紧急情况可频繁的关闭。有计划的运行维护、操作错误和现场基础设施组件自发的故障将导致数据中心的中断。 2、电子信息系统运行中断将造成较大的经济损失或公共场所秩序混乱的数据中心等级为B级。B级机房液冷系统配置会受到有计划和非计划活动的影响，但在冗余设备范围内，可以减少中断的可能性。B级机房的液冷系统通常只有一个单线的分配路径。维护输送路径和部分无冗余的组件时会引起数据中心的中断。 3 单相浸没式液冷散热技术白皮书 3、电子信息系统运行中断将造成重大的经济损失或公共场所秩序严重混乱的数据中心等级为A级。这类数据中心的液冷系统不应有单点故障，单一事件，不应对电子信息设备的运行产生影响。支持电子信息设备运行的液冷系统的任一组件（包括液冷系统自身，以及为其服务的冷源、供配电、自控等系统）都可以从服务中拆除或测试，这种维护不会造成供冷中断或供冷不足，不会对电子信息设备的运行产生影响。这一功能可通过设备和分配路径的冗余来实现。维护期间则可能会降低数据中心的性能。 传统板级液冷系统的冷板散热部件及分水器是单回路系统，只有一个单线的分配路径，存在单点故障。维护输送路径和部分无冗余的组件发生故障时会引起数据中心的中断。无法满足A级数据中心的高可靠要求。 图6XXX 为满足A级机房的性能要求，为液冷设施服务的供配电设施、自控设施等系统也需要设有冗余设备和路径，确保任一组件维护，不会引起供冷中断或冷却不足，不会导致电子信息设备的运行中断。 4 单相浸没式液冷散热技术白皮书 供电中断时，制冷系统也会中断，从油机送电到供冷完全恢复，大约需要0~2min，没有不间断供冷设施，易导致制冷中断或冷量不足（不同产品，不同系统架构会影响此段时间的长短）。设置不间断供冷设施，就是为了保证供电中断或其他事故发生时，制冷不会中断。支持电子信息设备正常运行的液冷设施采用UPS供电，可实现不间断供冷。 A级机房的液冷系统配置应符合下列规定： 1)满足B级机房的全部要求 2)支持电子信息设备运行的液冷设施应设置冗余，任一组件故障或维护时，不应影响电子信息设备的正常运行。 3)支持电子信息设备运行的液冷设施的供配电系统、自控系统、输配路径应设置冗余，任一组件故障或维护时，不应影响电子信息设备的正常运行。 4)A级机房的液冷系统应为不间断供冷设施。 5)数据中心需要分期部署时，应有技术措施避免新增设备和管路影响已有电子信息设备的正常运行。 A级机房单相浸没液冷系统，系统架构可参考下图： 5 单相浸没式液冷散热技术白皮书 图7高可靠浸没液冷数据中心架构 6 单相浸没式液冷散热技术白皮书 图8高可靠浸没液冷数据中心组件 3.单相浸没式液冷传热性能相关参数 浸没式液冷，其核心要素是将带电运行状态下的完整服务器浸没在冷却液中，因此充当换热介质的冷却液必须是换热能力强但不导电的高稳定介电液体，这样的介电液体通常不溶（或难溶）于水介质，可最大限度保障其绝缘性不被轻易破坏。其本身在气味、毒性、降解难易、可维护性等方面特性对环境和操作人员应尽可能友好。最为重要的是浸没在液体的部件，在部件选型时需要与冷却液进行验证兼容性和可靠性，才能提供部件与冷却液的兼容性质保。 基于以上考虑，目前在浸没式液冷领域应用讨论最广泛的冷却液主要分为碳氢及有机硅化合物（油类）和碳氟化合物类。 图9浸没式液冷冷却液分类 市场上绝缘液体众多，对于液体的材料兼容性和可靠性，需要一个有效的规划来筛选和评估满足自身业务需要；从冷却液材料的规格书可以发现，其参数众多，对于不同应用场景，需要考量不同的参数，液体的规格参数众多，对于浸没液冷应用，如何对其定义标准化对冷却液的选型和市场推广至关重要。 7 单相浸没式液冷散热技术白皮书 对于当前浸没液冷解决方案，由于整体功率密度不是太高，常见采用被动散热器，称为被动浸没液冷，其对流传热类型为混合对流换热：CDU从Tank底部提供一定流量工质+工质密度差浮升力。 图10单相浸没式液冷传热类型分类 在实际的应用当中，对流传热既有强制对流和自然对流，需要制定科学严谨的依据来判断能否忽略自然对流的影响。自由对流，亦称“自由对流换热”,简称“自然对流”。由于各部分温度不均匀而形成密度差,从而在重力场或其他力场中产生浮升力所引起的对流换热现象。 在传热学里应用相似分析法可以知道，Gr（格拉晓夫数）中包含着浮升力与粘滞力的比值，而由惯性力与粘滞力的对比可以得到Re数。我们需要的是浮升力与惯性力的对比。这个对比参量可以从特征数GrRe的组合中消去黏度得到。这就是判断自热对流影响程度的判据，一般认为，当Gr/Re^2≥0.01时，自然对流的影响不能忽略，而当Gr/Re^2≥10时强制对流对于自然对流可以忽略不计。当0.1≤Gr/Re^2≤10时称为混合对流，此时两种对流传热的作用都应加以考虑。（参考传热学第五版） 8 单相浸没式液冷散热技术白皮书 图11判断自热对流影响程度的判据 𝐺�