绿色数据中心冷却方式研究报告

绿色数据中心冷却方式研究报告 先进计算产业发展联盟 2023年12月 研究报告要点 随着5G、云计算、人工智能等新一代信息技术的快速发展，数据资源存储、计算和应用需求大幅提升。作为海量数据和算力的载体，近几年数据中心产业呈现出爆发式增长态势。据中国信通院发布的《数据中心白皮书（2022年）》显示，我国数据中心机架规模近五年平均复合增速超过30%。随着数据中心行业的高速发展，其高能耗和碳排放问题引发社会关注。根据数据统计，在数据中心主要设备能耗占比中，冷却设备耗电占比仅次于IT设备自身能耗占比。因此提升冷却系统能效水平是应对数据中心节能降碳压力的有效手段。 随着冷却技术的不断发展，在满足IT设备安全平稳运行的前提下，近几年数据中心冷却方式正在从空气冷却向液体冷却方式转变、从机械制冷向充分利用自然冷源方向发展。在多种冷却形式齐头并进发展的背景下，不同的数据中心项目如何选择合适的冷却方案成为人们高度关注的一个问题。 本白皮书旨在为数据中心冷却方案的选择、设计、建设和运维提供参考和指导。白皮书首先围绕我国数字经济与“双碳”目标协同发展的政策方针，分析指出建设绿色、低碳、可持续的数据中心成为必然发展趋势，并在文中梳理分析了国家和地方关于PUE、上架率、WUE等关键指标的限值政策，认为虽然目前数据中心面临着能耗压力和散热挑战，但同时压力和挑战也驱动着冷却技术的不断发展创新；围绕技术原理、关键技术与设备、解决方案、技术特点、适用范围、存在的问题和运维要求等七个方面介绍了冷板式液体冷却技术、相变浸没式液冷技术，以及间接蒸发冷却技术、制冷剂自然冷却技术、全新风直接冷却技术、干冷器、湖水冷却等自然冷却技术，全面分析了各项绿色冷却技术的优势、不足；并对未来具有应用潜力的新兴技术进行介绍和展望。 由于时间仓促，笔者水平有限，错误和不妥之处还望不吝指正。 编写组 牵头单位曙光信息产业股份有限公司 曙光数据基础设施创新技术（北京）股份有限公司参编单位广东海悟科技有限公司 维谛技术有限公司 北京市新能源与可再生能源协会中科可控信息产业有限公司 普洛斯普瑞数据科技（上海）有限公司北京秦淮数据有限公司 指导组长何继盛张鹏常乾坤黄元峰主要起草人徐欣 贡献专家李卫东顾华赵大山雷爱民韩会先毛峰钟洋许泉明周平刘荣青金超强王舜刘浩鹏刘凯艳 目录 一、绿色数据中心发展概述1 （一）绿色数据中心概念及其评价标准1 （二）信息技术发展带动数据中心建设提速3 （三）行业政策引导绿色可持续发展5 二、数据中心节能与散热14 （一）数据中心计算密度提升带来散热挑战14 （二）数据中心能耗水平分析16 （三）散热和能耗问题驱动冷却技术进步17 三、绿色冷却技术研究20 （一）冷却技术分类21 （二）冷板式液冷技术24 （三）相变浸没式液冷技术37 （四）单相浸没式液冷技术46 （五）间接蒸发冷却技术51 （六）制冷剂自然冷却技术59 （七）全新风直接冷却技术71 （八）自然水冷源（海水、湖水、江河水）直接冷却技术74 （九）冷却塔技术81 （十）干冷器技术86 四、绿色低碳技术92 （一）AI能源管控技术92 （二）余热利用93 （三）绿电应用101 五、绿色冷却技术未来展望105 （一）跨季节冰蓄冷数据中心冷却技术105 （二）远岸海上风力发电数据中心平台106 （三）两相冷板式液冷技术109 （四）高热流密度芯片级冷却技术111 （五）探索散热与再发电结合113 参考文献115 一、绿色数据中心发展概述 （一）绿色数据中心概念及其评价标准 绿色数据中心的“绿色”，其核心要义在于实现最优的能源利用率和最低的环境影响。国际电信联盟和世界银行等机构联合编写的《绿色数据中心：迈向可持续数字化转型》报告指出，绿色数据中心是指在数据中心的设计、建设、运营和维护过程中，采用了一系列环保、节能、可持续发展的技术和措施，以减少对环境的影响，提高能源利用效率，降低运营成本，同时保证数据中心的高可靠和安全性。绿色数据中心具备能源利用率高、环境友好、可持续发展和安全可靠的特点。绿色数据中心的实现主要包含以下六个方面：气候适应型、高效IT设备、可持续建筑、绿色能源、高效冷却方式以及IT设备的回收利用。高效冷却方式则是贯穿数据中心设计、建设，至运营维护全周期的重要环节。报告同时给出绿色数据中心的制冷解决方案如下： （1）充分利用自然冷源，减少机械制冷的应用； （2）采用精密空调、经济器以及通道封闭技术，提升冷却效 率； （3）采用液冷等相关的创新制冷技术； （4）采用模块化制冷解决方案，根据IT负载需求，调整制冷容量，提升设备效率； （5）采用节水的冷却方式，以节约水资源利用。 绿色数据中心是未来必然发展趋势。自2017年以来，工信部 等6部门组织开展了四批国家绿色数据中心推荐评价工作，前后认 定共计196家国家绿色数据中心。国家绿色数据中心的评定，不仅为数据中心行业绿色发展确定了标杆，也为实现“2030年前碳达峰”“2060年前碳中和”的国家“双碳”战略起到了强大的助推作用。 为了更好地实现绿色、节能、高效的目标，我国数据中心行业相继制定了一系列绿色数据中心评价指标相关的国家标准、行业规范，以此来引导数据中心市场健康有序地发展。通过表5可以看出目前关于PUE的测评、限定等级等多级标准较为完善，尤其在国家强制性标准《GB40879-2021数据中心能效限定值及能效等级》的发布实施，为PUE的测量、评价工作提供了权威参考依据。另外，绿色数据中心的评价工作尚缺乏国家权威标准，国家标准《绿色数据中心评价规范》目前正在制定中。 表1现行标准 标准类型 标准名称 国家标准 （1）GB40879-2021《数据中心能效限定值及能效等级》 （2）GB/T32910.2-2017《数据中心资源利用第2部分：关键性能指标设置要求》；《数据中心资源利用第3部分：电能能效要求和测量方法》；《数据中心资源利用第4部分：可再生能源利用率》 （3）GB/TXXXXX《绿色数据中心评价规范》（制定中） 行业标准 （1）YD/T2442-2013《互联网数据中心资源占用、能效及排放技术要求和评测方法》 （2）YD/T2543-2013《电信互联网数据中心（IDC）的能耗测评 方法》 （3）YD/T3983-2021《数据中心液冷服务器系统能源使用效率技术要求和测试方法》 （4）YD/T4023-2022《微模块数据中心能效比（PUE）测试规范》 地方标准 （1）DB11/T1139-2019《数据中心能源效率限额》（北京） （2）DB11∕T1638-2019《数据中心能效监测与评价技术导则》（北京） （3）DB11/T1282-2015《数据中心节能设计规范》（北京）（4）DB11/T2052-2022《绿色数据中心评价指标与方法》（北京）（5）DB31/T1216-2020《数据中心节能评价方法》（上海）（6）DB31/T1217-2020《数据中心节能运行管理规范》（上海） （7）DB31/T1302-2021《数据中心能耗在线监测技术规范》（上海） （8）DB31/652-2020《数据中心能源消耗限额》（强制性，上海）（9）B31/T1309-2021《数据中心节能改造技术规范》（上海） 团体标准 （1）T/ASC05-2019《绿色数据中心评价标准》（2）T/DZJN93—2022《数据中心碳排放评价规范》（3）T/BIE001-2017《数据中心用水技术导则》（4）T/CIE049A-2020《绿色数据中心评估准则》（5）T/ZGTXXH006-2021《绿色数据中心评估指标及评估方法》 （二）信息技术发展带动数据中心建设提速 随着5G、云计算、人工智能等新一代信息技术的快速发展，信息技术与实体经济加速融合，数据资源存储、计算和应用需求大幅提升。作为海量数据和算力的载体，近几年数据中心产业呈现出爆发式增长态势。 2006年Google首席执行官埃里克·施密特（EricSchmidt）在搜索引擎大会（SESSanJose2006）首次提出“云计算”（CloudComputing）的概念，推动互联网技术和IT服务演进出新的模式。 云计算是继互联网时代之后信息技术的又一次飞跃。云计算通过计算机网络（多指因特网）形成的计算能力极强的系统，可存储、集合相关资源并可按需配置，向用户提供个性化服务。云计算与医疗、教育、政务等实体行业深度融合过程中，对数据资源存储、计算和应用需求大幅提升，数据中心基础设施建设进入扩张期。 《“十四五”信息通信行业发展规划》中提出到2025年，每万人拥有5G基站数达到26个，5G用户普及率达56%。中国信通院公布数据显示截至2023年5月，我国5G基站总数达到284.4万个。中国通信标准化协会的数据显示，目前主要运营商的5G基站主设备空载功耗约2.2-2.3kW，满载功耗约3.7-3.9kW。作为国内5G基站建设的领先企业，华为以及中兴都在此前公布过5G设备的耗电数据，结果都是4G设备满载的3倍左右。实现相同面积的覆盖，5G基站数量比4G可能多出3倍，每个5G基站的耗电量是4G基站的3倍，5G网络的功耗将是4G网络的6-12倍。随着5G传输速率的成倍提升、5G业务的不断发展，5G基站的能耗问题也给运营商带来压力。 生成式AI表现出来的智慧能力，给未来的场景应用乃至社会生产方式的变革都带来了巨大的想象空间。虽然目前生成式AI的技术应用仍处于初级阶段，但用于训练的大模型的训练参数规模增长速度已超过摩尔定律，海量数据增长的背后离不开底层算力基础设施的支撑。未来新一代人工智能技术必将深度赋能千行百业，同时为硬件服务器、算力基础设施尤其是高密度数据中心的增长带来 新机遇，数据中心市场需求潜力巨大。 据中国信通院发布的《数据中心白皮书（2022年）》统计结果，我国数据中心机架规模近五年平均复合增速超过30%（见图1），且大型以上数据中心机架规模增长更为迅速。预计到2030年，总体在用机架规模达到1300万架，按照单机柜功率2.5kW计算，总功率达到30000MW。据CDCC的调研结果显示，国内全行业数据中心中8kW功率密度以上的机柜占比由2021年的11%提升至2022年的25%，高功率机柜占比提升明显。未来，随着人工智能模型训练推理等应用增加，多样化算力协同成为常态，单IT机柜主流功率密度将从6-8kW/rack提高到12-15kW/rack，先进计算、智算中心功率密度将提升至30kW以上。 图12017—2022年我国数据中心总体在用机架规模[1] （三）行业政策引导绿色可持续发展 近年来，国家出台了一系列文件支持数字经济发展壮大，同时鼓励引导绿色、可持续数据中心建设。2021年3月，我国在“十 四五”规划纲要中将数字化发展作为重要的发展方向，提出打造数字经济新优势的重要纲领，要求充分发挥海量数据和丰富应用场景优势，促进数字技术与实体经济深度融合，赋能传统产业转型升级，催生新产业新业态新模式，壮大经济发展新引擎。2022年2月，国家发展改革委、中央网信办、工业和信息化部、国家能源局联合印发通知，同意在京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏等8地启动建设国家算力枢纽节点，并规划了 10个国家数据中心集群，标志着我国“东数西算”工程正式全面启动。“东数西算”工程是从国家战略、技术发展、能源政策等多方面出发，在“新基建”的大背景下，统筹布局建设全国一体化算力网络国家枢纽节点，助力我国全面推进算力基础设施高质量规划建设。 伴随着数字经济的蓬勃发展，数据中心所带来的巨大能耗和碳排放问题越发引起社会关注。政府层面从现代化、数字化、绿色化方面对新型基础设施建设提出了方针指引，同时从碳达峰、碳中和的战略出发对信息通信业绿色低碳水平提出了更高要求。目前，数据中心产业绿色低碳可持续发展已成为社会共识，粗放、低能效的传统数据中心正在向集约、高技术、高能效的新型数据中心变革。工业和信息化部在《新型数据中心发展三年行动计划（2021—