中国创新数据中心冷却技术 – 液体冷却解决方案 2021

数据中心短暂系列2021年1月 短暂的4 中国创新的数据中心冷却技术 ——液体冷却解决方案 关键信息 •数据中心IT设备功耗增加导致散热需求增加，需要节能的散热解决方案。液体冷却具有高效散热和高节能特性，在中国正受到极大的青睐，并且随着市场上已有的成功商业案例而滚雪球。 •液体冷却在开发过程中仍面临许多挑战。迫切需要支 持- 通过加强行业引导、规范评价体系、完善产业生态等措施，推动技术和产业发展。 •本简报展示了阿里巴巴和腾讯数据中心先进的液冷系 统。在中国两家领先的互联网公司中，阿里巴巴已经实现了液冷技术的大规模部署。 1 2 图1.2012-2019年IDC中国营收及增长情况 1亿元人民币 1,000 800 29.4% 17.3% 600 400 200 0 2012 来源:CAICT 2013 2014 2015 2016 2017 2018 2019 收入 增长 16.5% 29.1% 32.6% 33.4% 33.8% 中国数据中心产业的发展 在信息时代，科学数据已成为一种战略资源。同样，数据中心的规模已成为国家数字科技竞争力的指标，也是信息科学技术持续高速发展的推动力。随着云计算、人工智能和大数据的蓬勃发展，中国数据中心的整体规模呈现出快速增长的趋势。截至2019年底，使用中的数据机架数量已达310万个，同比增长38%。在市场方面，根据中国信息通信研究院（CAICT）的数据，自2012年以来，中国数据中心市场的规模一直在以约30%的年增长率扩大，如图1所示。 然而，数据中心的快速增长也造成了能源消耗问题。较慢的芯片制造过程会增加功耗。一般CPU（中央处理器）的TDP（热设计功率）也逐渐增加，从大约100W增加到400W。用于AI（人工智能）训练的GPU（图形处理单元）的功率可高达2.6kW。未来，AI训练GPU功率有望达到10kW。在处理AI深度学习计算时，GPU比CPU更强大。随着计算应用变得越来越复杂， GPU将变得更加流行。因此，数据中心的内部冷却系统每年消耗大量电力，大大增加了其运营和维护成本我.因此，如何提高数据中心的散热效率，提高数据中心的可持续性，成为社会普遍关注的焦点。中国数据中心行业正在积极探索新的冷却解决方案，其中最有效的是液体冷却。 液体冷却的优势 液冷技术并不是一个新概念，因为它在卫星、火箭发动机和航空航天工业的其他领域有着悠久的应用历史。在数据中心领域 ，自1960年代以来一直在使用大型计算机。随着时间和技术的进步，计算机芯片的密度大大增加，计算工作越来越复杂，IT设备的热负荷稳步上升。为数据中心提供足够风量或冷却能力的能力正在接近极限。使用空气冷却技术的传统空调系统已经无法满足高密度数据中心的冷却要求，因此数据中心行业正逐渐诉诸液体冷却技术来解决这个问题。液体冷却的优势越来越明显，因为它在数据中心中出现的频率越来越高二世. 1.热容量大，高效散热 液体冷却技术通过使用液体作为热传递介质来降低数据中心的温度。这依赖于液体与热源直接接触以消除热量，从而消除了使用空气冷却解决方案通过空气间接冷却的需要。液体冷却通过循环介质带走大部分热量，从而减少了来自单个服务器的空气消耗和服务器机房对空气循环的总体需求，大大减少了由服务机房回流引起的局部热点三世.此外，液体在传递热量方面比空气更有效，它可以在保持温度稳定的同时吸收大量热量，从而大大提高散热效率。 2.减少能源消耗和支出数据中心在其运营中消耗大量电力，这与昂贵的电费有关。随着向液体冷却解决方案的转变，可以完全或部分更换连续耗电的风扇和空调，从而大大降低电力消耗和成本。 3.提高能源效率、保护环境、降低噪音 液体冷却系统可以降低数据中心的总体能耗和PUE（电力使用效率 tiveness）到显着的程度。此外，由于液冷系统的泵和其他仪表比风扇更安静，液体冷却系统的噪音远低于风冷系统的噪音，从而可以创建“静音数据中心”。 介绍三种液体冷却技术 数据通信设备的液冷系统的冷却子系统可以被认为是冷却液与组件交换热量的液体回路。在某些情况下，冷却系统中的水由机架的内部CDU（冷分配单元）或为多个机架提供服务的外部CDU提供。 数据中心中潜在的液体冷却回路和使用的术语如图2所示。目前，液冷解决方案主要采用三种技术路线之一：冷板液冷、浸没液冷和喷淋液冷。 1.冷板液体冷却 冷板液冷的主要部署方法是在液冷柜上配置水分离器，为液冷计算节点提供进出口支管。支管的进、出水管分别连接 图2。液体冷却一般电路 建立冷冻站 它的房间 排热设备 冷水机 冷却装置(可选) 液体冷却内阁 冷却水系统 冷冻水(主电路) 过程制冷剂系统(二次电路) 3 与计算节点通过液冷计算节点的接头和内冷板管路，实现液冷计算节点中的液冷循环。来自液冷组合节点的液体汇聚在机柜层，机柜有一个入口和一个出口连接到外部管道 。该连接器连接到外部或内置CDU，以便循环液体并从计算节点带走热量，如图3所示。在冷板液冷系统中，CPU等功耗较大的组件由液冷板冷却，硬盘、接口卡等其他发热装置仍由风冷系统冷却4. 与空气冷却相比，这种类型的散热密度更高，更节能，噪音产生更少。由于冷板液冷技术不需要相同数量的昂贵冷水机组，因此它大大提高了数据中心的能源效率，同时降低了总体成本v.一般来说，风冷技术只能支持每个机柜高达30kW的功耗，而冷板液冷可以达到每个机柜45kW的总功耗，流量配置为每分钟60升，从而实现更高密度的数据中心部署。 6. 2.浸液的冷却 浸没式液体冷却是近年来引起业界关注的一种新型散热技术。特别是在最近的全球超级通信会议上，许多中国和国际服务器公司展示了他们的浸入式液体冷却产品，大大增加了行业对液体冷却的关注。浸入式液体冷却系统是一种新型、高效、绿色、节能的数据中心冷却解决方案。 浸入式液体冷却具有独特的优势。首先，在浸入式液体冷却系统中，冷却剂与发热设备直接完全接触。结果，对流热阻低，传热系数高。其次，冷却液具有高导热性和比热容，工作温度变化小。第三，这种方法消除了对风扇的需求，从而降低了能耗和噪音，并提供了高冷却效率。最后 ，冷却液具有优异的绝缘性能和高闪点，不易燃无毒，通常没有腐蚀。因此，这种液冷技术适用于对热流密度和绿色节能有较高要求的大型数据中心、超级计算以及工业和科研机构。它特别适用于位于空间有限的寒冷和高海拔地区的数据中心，以及数据 基督液体冷却内阁 冷冻水系统冷却剂系统 主电路 冷却水系统 冷却塔 冷水机 图3.冷板液冷系统结构 二次电路 4 5 图4.阿里巴巴冬奥云数据中心（来源：阿里巴巴） 对环境噪音要求高，靠近人们办公室和生活区的中心。 3.喷雾液体冷却 喷淋液冷却的主要特点是非腐蚀性冷却剂直接通过服务器机箱上的淋浴板，喷洒到发热装置表面或与其接触的延伸表面。然后，吸收的热量被重新移动并与大型冷却源的外部环境交换，从而达到控制系统的目标温度。喷淋液冷系统具有器件集成度高、散热效率高、节能高、运行静音等特点。它是解决在数据中心部署大功率机柜、降低IT系统冷却成本和提高能源效率问题的最有效手段之一。7. 实践中良好的液体冷却的应用程序 浸入式液冷—阿里巴巴冬奥云数据中心 阿里巴巴集团长期以来一直专注于数据中心的能源效率提升。阿里巴巴在其2MW电源容量中部署了单相浸入式液冷服务器集群冬奥云数据 中心，可以大规模容纳数千台服务器。因此，这种液体冷却系统的商业化已经开始。2020年1月6日，阿里巴巴在ODCC（开放数据中心委员会）开源了其液冷数据中心规范 ，希望与合作伙伴一起制定面向云的大规模数据中心基础设施的开放标准。只有这样，ODCC才能培育中国的云数据中心生态系统，建设新一代可持续和节能的数据中心。 阿里巴巴开发液冷主要采用单相浸入式液冷服务器解决方案，不需要运营商使用传统的风冷设备。室外冷却设备，如冷却塔或干式冷却器，可以全年使用，从而大大降低了能耗。阿里巴巴的浸入式液冷数据中心可以部署在世界任何地区。以华南地区为例，与PUE1.5风冷数据中心相比，同等规模的液冷数据中心能耗可降低35%以上。换句话说，当100，000台服务器运行时，每年可以节省约23500万千瓦时的电力和20万吨二氧化碳排放。 在单位空间方面，服务器不再使用风扇，大大提高了单位密度。由于单位计算能力增加十倍以上，可以支持 图5.腾讯液冷数据中心（来源：腾讯） 在微模块中，可以发挥产品化和模块化的优势。该解决方案可以更灵活、更快速地批量卸载，以更好地应对数据中心业务的爆炸性增长。 该系统使用冷板液冷技术，通过冷却水循环带走CPU热量 ，该循环支持初级侧37°C的入口温度。这方面的散热约占服务器总散热量的75%。由于它支持高温一次水取水，该技术允许在大多数气候条件下进行自然冷却，从而节省大量机械和电力，这也降低了数据中心的电力成本。同时，腾讯对液冷CDU进行了回路管和隔离阀的深度定制，使液冷系统在粒度、冗余配置、控制功能等方面更适应微模块和运行要求。腾讯在冷板液冷方面进行了多年的技术研究和测试验证，并将持续研究液冷与微模块的集成应用。 未来功耗更高的处理器。在物理空间方面，浸入式液冷解决方案可以节省IT设备占用的75%的表面。同时，密封的服务器不受振动、空气湿度或空气中灰尘颗粒的影响，使设备可靠性提高了50%。即使电子元件浸没在液体中二十年，液体的成分和电子设备的质量都不会改变，从而大大延长了元件和设备的使用寿命。由于液冷在高效散热、降低能耗和改善空间利用方面具有明显优势，Al-ibaba继续在其杭州仁和数据中心使用浸入式液冷，该数据中心于2020年投入运营。 冷板液冷：腾讯液冷微模块数据中心 为了满足数据中心高密度计算机设备的未来冷却需求，并减轻日益紧张的电力资源对工业发展的影响，腾讯工程师将液体冷却和微模块相结合，形成了创新的数据中心部署。这种液冷技术的应用可以满足高密度计算设备的冷却需求，进一步降低中心PUE，提高用电效率。同时，结合部署 政策制定和可持续性评估方法 为了降低数据中心的高能耗，中国政府出台了规范此类能源消耗的政策。8.自2017年起，工业和信息化部每两年发布一次 《关于组织申报全国产业示范基地创新模式的通知》。数据中心、云计算、大数据等新兴产业被纳入全国示范基地范围。工信部旨在选择节能、环保、安全、可靠、服务能力和应用水平等典范的先进大型和超级数据中心。还选择了类似的高标准中小型数据中心。地方政府出台了响应节能增效号召的政策，以促进数据中心的可持续发展。 •北京市政府更新的《北京市新产业禁止限制目录（2018 ）》规定，禁止在全市六区建设和扩建数据中心，但允许在六区以外建设符合特定要求的高级数据中心。9. 6 •上海市政府发布了《上海市节能与气候变化“十三五”规划 》，规定应严格控制新建数据中心，确保可持续发展。在认为有必要施工的地方，必须确保可持续的节能。在此基础上，2019年发布了《上海互联网数据中心建设指南》，从各个方面促进能源效率和减排，并首次鼓励部署液冷服务器。 •深圳市政府发布《关于对数据中心进行节能审查的通知》 ，推动对旧数据中心进行节能改造，控制数据中心年度总能耗的增长。 数据中心可持续性评级的评估由开放数据中心委员会（ODCC）和绿色网格委员会（TGGC）等行业标准组织联合进行。这得到了阿里巴巴、腾讯、中国电信、中国移动、中国联通、万国数据、百度等中国大型数据中心运营商的一致认可。 自评估推出以来的八年中，许多数据中心都参与其中，但很少有数据中心获得最高的5A级绿色评级。直到最近几年 ，在In-ternet公司的积极探索和创新下，5A级绿色数据中心开始出现。例如，2015年，百度云计算（阳泉）中心采用了诸如整体 机柜服务器、高压直流+直通电源、机器学习控制系统、高温服务器，年均PUE达到1.23。 2016年，阿里巴巴千岛湖数据中心采用自然冷却系统，采用湖水、太阳能电池板、高压直流等技术，年设计PUE达到1.28。2017年，腾讯青浦三联产数据中心采用