北交所行业主题报告：数据中心进入液冷时代，制冷革新减耗“东数西算”

全球单机柜功率呈增长趋势，“双碳”政策加持下液冷替代风冷已成大势所趋2021年11月，国家发改委指出全国新建大型、超大型数据中心平均PUE降到1.3以下，国家枢纽节点进一步降到1.25以下。随着芯片技术进步，服务器计算能力增长快速，建设高密度、高能耗的大型数据中心成为平衡算力和环保规定的必要选择。制冷系统是数据中心重要基础设施之一，高密度数据中心运行中，传统风冷面临散热不足、能耗严重的问题，液冷技术成为了降低数据中心PUE的优解，其在15kW/柜以上时更具经济性优势。当前液冷技术主要分为冷板式及浸没式，其中浸没式液冷可将数据中心PUE降低至1.2以下。除能源利用率更高，液冷技术在降噪、空间利用、地理环境方面也具备更好表现。随着液冷相关技术日益成熟，国内外已有多家企业开始面向客户提供定制化液冷技术解决方案，一些科技公司也逐步建设部署自身的液冷数据中心。 国家“东数西算”工程背景下，预计2025年液冷基础设施规模245亿元 新型算力基础设施绿色发展逐渐提速，根据《2021-2022年度中国数据中心基础设施产品市场总报告》，2021年我国单机柜功率在10kW以上的数据中心市场规模增速超过10%，其中30kW以上增速达31%。随着超高密度数据中心的建设节奏加快，传统风冷已无法满足高性价比、低PUE的需求，因此液冷技术成为未来建设数据中心的主要路径。据赛迪顾问预测，中国液冷数据中心基础设施市场规模预计由2019年的64.7亿元增至2025年的245.3亿元。由于浸没式液冷具备制冷效率更高等特点，预计占比由2019年的18%升至2025年的41%。逐渐增长的数据中心算力将推动高功率单机柜快速普及，预计2025年全球数据中心平均功率提升至25kW。我们认为数据中心液冷“革命”势在必行。 国外尚未形成龙头，曙光数创等国内液冷厂商领跑技术前沿 目前国内外数据中心基础设施厂商液冷技术普及率尚较低，掌握该技术的企业较少。国际市场尚未形成较强龙头，国内市场中部分企业经过多年积累沉淀，具备市场先发优势。曙光数创：中科曙光子公司，2019年首次实现浸没相变液冷数据中心产品C8000产品在国家级重大科研装置大规模部署，近日公司北交所上市获证监会注册批复。浪潮信息：与京东云联合推出天枢（ORS3000S）液冷整机柜服务器 ， 已在京东云数据中心实现规模化部署 。华为 ：2019年发布FusionServer Pro冷板全液冷系统解决方案，应用于高功耗密度服务器机柜部署场景。阿里云：2021年发布行业首款单相浸没液冷解决方案—磐久Immersion DC 1000，实现基础设施散热能力和服务器、网络设备高效融合交付，助力创新散热技术与IT系统融合。英维克：推出Coolinside全链条液冷解决方案，打破国外技术壁垒，已实现单机柜200kW批量商用。宁畅：2022年年初通过采用NVIDIA液冷HGX A100 NVLink平台，推出X660 G45 LP新系列液冷服务器，是业内首个全系统定制液冷方案。 风险提示：市场竞争风险、美国对华芯片制裁风险 1、思考一：什么是液冷数据中心？其重要性如何？ 1.1、政策背景：国家政策指导全国新建大型、超大型数据中心平均PUE降到1.3以下、枢纽节点降到1.25以下 全球主要国家承诺最晚于2050年完成碳中和计划，数据中心绿色、低碳政策陆续出台实施。政府间气候变化委员会在2018年10月8日发布特别报告提出将全球变暖限制在1.5°C，需要在土地、能源、工业等方面加速转型，到2050年左右达到“净零”排放。切实到各国的数据中心的低碳政策，美国政府通过DCOI数据中心优化倡议等举措，以整合和关闭数据中心、设定数据中心PUE及服务器使用率具体标准等方式，实现了数据中心PUE从平均2.0以上下降到近一半大型数据中心达到1.5甚至1.4以下。新加坡发布的《绿色数据中心技术路线图》提出提高冷却设备效率、IT设备温湿度耐受能力、数据中心的资源调度和负荷分配集成优化能力等建议。 欧盟通过2020年欧盟数据中心能源效率行为准则的最佳实践指南和和欧洲数据中心能源效率现状白皮书进一步细化和规范了数据中心PUE、SUE、DCiE等绿色指标。 表1：全球主要国家承诺于2050年及之前完成国家层面的碳中和计划 为推动行业规范和快速发展，国家工信部等部门相继发布数据中心指导政策。 2021年11月，国家发改委联合网信办、工信部、能源局共同发布《贯彻落实碳达峰碳中和目标要求推动数据中心和5G等新型基础设施绿色高质量发展实施方案》，指出坚持集约化、绿色化、智能化建设，加快节能低碳技术的研发推广，支持技术创新和模式创新。全国新建大型、超大型数据中心平均电能利用效率降到1.3以下，国家枢纽节点进一步降到1.25以下，绿色低碳等级达到4A级以上。 图1：2021年11月国家发改委指出全国新建大型数据中心及以上PUE降到1.3以下 在工信部、国务院等部门的倡导下，全国地方政府出台政策引导数据中心绿色发展。东部地区（部分）：2021年4月，北京市发布《北京市数据中心统筹发展实施方案（2021-2023年）》，指出关闭一批功能落后数据中心、整合一批规模分散的数据中心、改造一批高耗低效数据中心、新建一批新型计算中心和人工智能算力中心及边缘计算中心；新建云数据中心PUE不高于1.3等。2020年5月，上海市发布《上海市推进新型基础设施建设行动方案(2020-2022年)》，提出新增数据中心PUE不超过1.3，建设E级高性能数据中心。西部地区（部分）：2021年10月，宁夏自治区编制《全国一体化算力网络国家枢纽节点（宁夏）建设方案》，提出打造“一集群三基地一数谷”的总体定位，即“全国一流绿色数据中心集群”、国家“东数西算”示范基地、网络安全暨信息技术创新开发基地、国家级数据供应链培育基地、西部数谷。并提出“十四五”期间，宁夏自治区枢纽节点规模为72万个机柜，服务器上架率大于85%，平均PUE值小于1.2，数据中心可再生能源使用率大于65%，自主可控率大于90%。 表2：全国各地政府响应双碳目标，相继发布数据中心低碳政策 1.2、概念解析：液冷技术在散热效率、适用功率等方面优于风冷，其中浸没式液冷可将平均PUE降至1.2以下 数据中心基础设施是支撑数据中心正常运行的各类系统的统称，具体包括制冷、配电、机柜、布线、监控等系统，是数据中心的组成部分之一。数据中心是用于在网络上传递、加速、展示、计算和储存数据信息的物理场所，主要应用于对数据计算和储存有较大需求的组织。一个完整的数据中心由IT设备和基础设施共同构成。 图2：一个完整的数据中心由IT设备和基础设施共同构成 数据中心可根据基础设施的标准机架数量进行划分。《工业和信息化部、发展改革委、国土资源部等关于数据中心建设布局的指导意见》文件中，将数据中心划分为超大型、大型、中小型三类。不同类型的数据中心机架规模不同，对应的基础设施解决方案也不相同。 表3：根据基础设施的标准机架数量，将数据中心划分为超大型、大型、中小型三类 数据中心基础设施可按照不同制冷方式进行划分风冷数据中心基础设施和液冷数据中心基础设施。风冷方式发展起步早，技术较为成熟，液冷方式是近几年由于数据中心对散热需求提升而出现的新方式，技术尚处于发展阶段。液冷方式又分为冷板式液冷和浸没式液冷两种，其中浸没式液冷方式可再细分为相变浸没式液冷和非相变浸没式液冷。 图3：数据中心基础设施分为风冷数据中心基础设施和液冷数据中心基础设施 冷板式液冷为间接接触型，浸没式液冷为直接接触型。风冷是以空气作为冷媒，通过空气与发热部件接触换热实现散热的冷却方式。液冷是以液体作为冷媒的冷却方式，利用液体将数据中心IT设备内部元器件产生的热量传递到设备外，从而冷却IT设备。其中，冷板式液冷是一种间接接触型液冷，将冷板固定在散热对象上，液体在冷板内流动将设备热量传递带走，实现散热。浸没式液冷是一种直接接触型液冷，将服务器等有散热需求的IT设备完全浸没在冷却液中，通过液体的循环流动或相变进行冷却。 图4：风冷以空气作为冷媒，液冷以液体作为冷媒 图5：浸没式液冷是一种直接接触型液冷 浸没式液冷可将数据中心PUE降低至1.2以下，优于风冷和冷板式液冷。对比不同制冷方式，浸没式液冷冷却液和发热设备充分接触，散热效率更高，可将数据中心PUE降低至1.2以下，运行更稳定，同时由于没有风扇，噪音更低，符合国家发改委对数据中心建设的政策指导目标，是未来数据中心基础设施建设的发展方向。 表4：浸没式液冷散热效率更高，运行更加稳定 表5：浸没式液冷是未来数据中心基础设施的发展方向 两相浸没液冷的能耗低于单相浸没液冷。数据中心浸没式液冷技术的能耗主要由促使液体循环的泵和室外冷却设备产生，根据冷却液换热过程中是否发生相变可分为单相浸没式液冷与两相浸没式液冷。其中，两相浸没式的冷却液循环是无源的，因此两相浸没液冷的能耗一般要低于单相浸没液冷。由于浸没式液冷的室外侧通常是高温水，其室外冷却设备往往可以利用自然冷源且不受选址区域的限制，从而起到节能减排的目的。 图6：单相浸没式液冷具有一、二次侧冷媒 图7：两相浸没式的冷却液循环是无源的 表6：两相浸没液冷的能耗低于单相浸没液冷 1.3、典型应用：液冷技术商用条件逐渐成熟，国内外实践案例不断增多 随着液冷相关技术日益成熟，国内外已有多家企业开始面向客户提供针对不同散热需求下的液冷技术解决方案，一些科技公司也将基于液冷技术的散热系统部署于公司数据中心。 阿里云作为国内领先的云服务提供商，是最早探索和实践大规模液冷方案的科技公司之一。2020年1月，阿里云宣布向全社会开放“浸没液冷数据中心技术规范”，2020年9月，仁和数据中心开服，采用服务器全浸没液冷等多项节能技术进行规划设计与建造，PUE低至1.09，相比传统风冷数据中心每年可节省3000万度电，该数据中心成为我国首座绿色等级达到5A级的液冷数据中心；2021年12月，阿里云发布磐久系列液冷一体机Immersion DC 1000，整体能耗可下降34.6%。 中科曙光面向人工智能、大数据等多种应用场景，推出硅立方液体相变冷却计算机。硅立方液体相变冷却计算机采用创新的浸没液冷技术，PUE低至1.04，节能效果显著。硅立方将服务器芯片、主板在内的所有计算部件浸没于液态冷媒中，将部件产生的热量通过相变换热的方式转移出设备，实现了高效散热。同时，硅立方一个机柜功率密度可达到160kW，是传统风冷数据中心的4-5倍，能效比提升了30%。 图8：中科曙光推出硅立方液体相变冷却计算机 图9：阿里巴巴浙江云计算仁和数据中心落成 马来西亚气象局数据中心为更好地捕捉局部强对流天气，满足三维播报所增加的27倍算力需求，配置了联想的冷板式液冷设备。在该系统中，水被送入服务器冷板，在组件周围循环，然后吸收热量离开冷板，进入冷源实现冷却。据测算，马来西亚气象局应用液冷系统后，散热效果高达90%，有力地支持了气象预测的精度提升。 Facebook针对新加坡潮湿天气打造了Facebook新加坡亚洲数据中心。该数据中心采用StatePoint Liquid Cooling液冷系统，用水来降低气温，可以节约最高20%的用水量。Facebook还计划全部使用可持续能源来给整个数据中心供电。 图10：马来西亚气象局数据中心配置了冷板式液冷设备 图11：Facebook打造Facebook新加坡亚洲数据中心 在浸没式液冷解决方案的供给端，国内外均有企业在积极布局。例如，总部位于美国的GreenRevolutionCooling主要提供数据中心单相浸没式液冷解决方案，面向高性能计算、边缘数据中心、区块链和加密货币等场景提供具有完整冷却和电力基础设施的一站式模块化数据中心；总部位于荷兰的Asperitas采用自然对流驱动的单相浸没式液冷技术，其HPCzone系列产品可为各种高性能计算场景提供一站式解决方案。在国内，浪潮信息于2018年推出了小型可移动的浸没式液冷超算TS4