数据中心绿色设计白皮书

数据中心绿色设计白皮书ODCC-2023-02001 1 [编号ODCC-2023-02001] 数据中心绿色设计白皮书 开放数据中心标准推进委员会 2023-06发布 数据中心绿色设计白皮书ODCC-2023-02001 版权声明 ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。 I 数据中心绿色设计白皮书ODCC-2023-02001 编制说明 本报告由开放数据中心委员会ODCC牵头撰写，并在撰写过程中得到了多家单位的大力支持，在此特别感谢以下参编单位： 参编单位（排名不分先后）： 中国信息通信研究院、深圳市腾讯计算机系统有限公司、维谛技术有限公司、深圳绿色云图科技有限公司、华为技术有限公司、阿里云计算有限公司、浪潮集团有限公司、曙光信息产业股份有限公司 项目经理： 张一星zhangyixing@caict.ac.cn 杨硕yangshuo@caict.ac.cn II 数据中心绿色设计白皮书ODCC-2023-02001 前言 随着新一代信息技术的蓬勃发展与广泛应用，数字产业的赋能作用进一步凸显，数据中心作为数字经济“底座”，在经济社会发展中扮演着至关重要的角色。截至2022年底，我国在用数据中心机架总规模超过650万架，能耗总量 达1300亿千瓦时。在“碳达峰碳中和”大背景下，我国正积极推动引导数据中心均衡布局、高效节能发展，工信部、发改委等部门发布《新型数据中心发展三年行动计划》、《贯彻落实碳达峰碳中和目标要求推动数据中心和5G等新型基础设施绿色高质量发展实施方案》等多项政策，提出到2025年，全国新建大 型、超大型数据中心平均电能利用效率降到1.3以下，国家枢纽节点进一步降到1.25以下，绿色低碳等级达到4A级以上。 绿色设计对于从源头上构建数据中心绿色产业生态，引导数据中心产业绿色发展方向具有重大意义。本《白皮书》梳理了全球及我国数据中心机架规模和PUE水平，从国家和地方层面分析了数据中心绿色节能政策和已发布的数据中心能效标准，指出了数据中心绿色发展面临的诸多挑战。本《白皮书》详细阐述了数据中心绿色设计的理念和基本要素，总结了数据中心IT设备、供电系统、制冷系统、监控系统的绿色设计先进技术和方案，并给出了数据中心绿色设计优秀案例。相关技术和方案将为数据中心在建设、运行、改造的全生命周期采用绿色设计提供参考，促进数据中心产业整体绿色低碳高质量发展。 由于时间仓促，水平所限，错误和不足之处在所难免，欢迎各位读者批评指正。如有意见或建议请联系dceco@caict.ac.cn。 III 数据中心绿色设计白皮书ODCC-2023-02001 内容概览 1.全球新增数据中心规模稳定，伴随数据中心节能改造建设的边际效益递减和数据中心能效改善效果不佳，全球数据中心PUE呈现小幅波动总体缓慢下降趋势。国内外互联网巨头持续探索数据中心绿色节能技术，部分超大型数据中心PUE接近极限值。 2.我国数据中心总体规模持续增长，大型规模及以上数据中心成为增长主力，数据中心能耗总量与碳排放规模体量不容忽视。我国高度重视数据中心绿色发展，国家和地方层面均出台了一系列指导意见和工作方案，引导数据中心布局均衡和绿色低碳发展。 3.我国数据中心产业在能耗方面面临诸多挑战，如老旧小数据中心能效管理水平低、新建数据中心绿色节能技术应用不佳、现有数据中心能耗监测系统不健全等，且当前针对数据中心节能新技术的相关标准仍不完善。为帮助数据中心产业从源头上构建绿色生态，《白皮书》给出了数据中心绿色设计的定义与内涵，引导数据中心在设计阶段综合考虑各类资源能效指标，达到资源支出成本最低、碳排放量最少、对环境影响最小。 4.数据中心绿色设计包含单系统绿色设计、环境与能源耦合绿色设计、风火水电与IT系统耦合绿色设计三个层次，针对IT设备、供电系统、制冷系统、监控系统等不同维度的多样化绿色设计先进技术方案，可有效帮助数据中心实现全生命周期节能降耗和绿色低碳。 5.PUE值是当前评价数据中心绿色设计方案是否先进有效的核心指标，为促进产业各方实践应用绿色设计方案，用低PUE创造高效算力，《白皮书》给出了腾讯、维谛、网宿&绿色云图、华为等企业的优秀数据中心PUE设计方案，对推进数据中心产业整体绿色高质量发展提供有益借鉴。 IV 数据中心绿色设计白皮书ODCC-2023-02001 目录 版权声明I 编制说明II 前言III 内容概览IV 图目录1 表目录1 一、数据中心绿色设计发展背景2 1.数据中心能耗现状2 2.数据中心能耗政策标准分析5 3.数据中心绿色发展面临的挑战9 二、数据中心绿色设计的理念和基本要素11 1.数据中心绿色设计11 2.绿色设计理念11 3.绿色设计原则12 4.绿色设计目标12 三、数据中心绿色设计先进技术和方案13 1.IT设备13 2.供电系统16 3.制冷系统20 4.监控系统26 V 数据中心绿色设计白皮书ODCC-2023-02001 四、数据中心绿色设计优秀案例27 1.腾讯仪征数据中心设计PUE方案27 2.维谛广州数据中心设计PUE方案27 3.网宿&绿色云图上海数据中心设计PUE方案28 4.华为贵州数据中心设计PUE方案28 VI 数据中心绿色设计白皮书ODCC-2023-02001 图目录 图1全球服务器年增加量（兆瓦）2 图2全球互联网巨头数据中心运行PUE水平接近极限值3 图3我国数据中心机架规模4 图4我国超大型、大型数据中心能效情况4 图5我国数据中心耗电量（亿千瓦时）5 图6CPU冷板和GPU冷板14 图7IT机柜的演进17 表目录 表1数据中心能效等级指标9 表2风冷、水冷、蒸发冷却、新型氟泵系统、液冷系统对比24 1 数据中心绿色设计白皮书ODCC-2023-02001 一、数据中心绿色设计发展背景 1.数据中心能耗现状 1)全球发展现状 全球数据中心新增相对稳定。按照全球服务器年增加量统计，2015年-2021年全球年新增投入使用服务器规模相对稳定，净增加值也相对稳定，预计未来几年数据中心规模仍将保持平稳增长，具体见图1。 来源：Gartner、中国信息通信研究院 图1全球服务器年增加量（兆瓦） 2006年开始，随着互联网快速发展，全球数据中心规模高速增长，数据中心能耗与日俱增。封闭冷热通道、提高出风温度、优化供配电设备效率、充分利用自然冷源等绿色节能技术不断推广应用，数据中心能效管理从粗犷发展进入精细管理，全球数据中心总体能效水平快速提高，平均PUE从2.7降低到2013年的1.8左右，呈现快速下降趋势。2014年以来，全球数据中心PUE呈现小幅波动总体缓慢下降的趋势，一方面数据中心节能改造与建设的边际效益逐步降低，进一步提高能效需要投入更多成本，另一方面，部分传统数据中心负载率不高、绿色管理不到位等造成数据中心能效改善效果不明显，2021年全球数据中心平均PUE约1.57。 2 数据中心绿色设计白皮书ODCC-2023-02001 互联网巨头仍坚持探索数据中心绿色节能新技术，新建数据中心PUE基本在1.4以下，部分超大型数据中心接近极限PUE，Facebook美国Prineville数据中心PUE低于1.08，谷歌Berkeley数据中心年均PUE达到1.111，百度云计算（阳泉）中心1#模组PUE达1.08，阿里巴巴浙江云计算仁和数据中心PUE达1.09。未来随着中小数据中心整合改造和大型化数据中心建设趋势，全球数据中心平均PUE预计将进一步降低。同时，谷歌、苹果等公司已通过购买可再生能源证书（RenewableEnergyCertificate）的方式实现所有数据中心采用100%可再生能源，进一步降低了数据中心碳排放。 来源：互联网资料整理、开放数据中心委员会ODCC 图2全球互联网巨头数据中心运行PUE水平接近极限值 2)国内发展情况 根据信通院最新统计数据，我国数据中心机架规模平稳增长，大型以上数据中心成为增长主力。据统计，2013年以来，我国数据中心总体规模快速增长，截至到2022年底，我国在用数据中心机架总规模超过650万架，近5年年均复合增速超过30%，算力总规模为180EFLOPS（FP32），算力规模排名全球第二。 1数据来源：企业官网https://www.facebook.comhttps://www.google.com 3 数据中心绿色设计白皮书ODCC-2023-02001 其中，大型以上数据中心机架规模增长较快，按照标准机架2.5kW统计，机架规模超540万架，占比超80%。 来源：中国信息通信研究院 图3我国数据中心机架规模 截至2022年底，全国在用超大型数据中心平均PUE为1.36，大型数据中心平均PUE为1.42，最优水平达到1.08。全国规划在建数据中心平均设计PUE为1.32左右，超大型、大型数据中心的平均设计PUE分别为1.28、1.29。 来源：中国信息通信研究院 图4我国超大型、大型数据中心能效情况 4 数据中心绿色设计白皮书ODCC-2023-02001 2021年我国数据中心能耗总量为1116亿千瓦时，碳排放量超过7000万吨。 2022年我国数据中心能耗总量1300亿千瓦时，同比增长16%，预计到2030年， 能耗总量将达到约3800亿千瓦时。若不使用绿色能源，碳排放总量将突破2亿吨，约占全国总碳排放量的2%。 来源：中国信息通信研究院 图5我国数据中心耗电量（亿千瓦时） 2.数据中心能耗政策标准分析 1)政策分析 我国积极推动引导数据中心布局均衡、绿色低碳发展，从国家到地方发布了一系列关于数据中心高效节能的政策文件。 (1)国家层面政策 国家层面高度重视数据中心行业绿色发展，近十年来发布了一系列相关指导意见和工作方案。2013年，工信部等发布《关于数据中心建设布局的指导意 5 数据中心绿色设计白皮书ODCC-2023-02001 见》，引导大型、超大型数据中心优先在中西部等一类、二类地区建设。2017年，工信部发布《关于加强“十三五”信息通信业节能减排工作的指导意见》，提出到十三五末期，新建大型、超大型数据中心的PUE值达到1.4以下。工信部联合国管局、国家能源局于2019年2月发布《关于加强绿色数据中心建设的 指导意见》，再次提出到2022年，数据中心平均能耗基本达到国际先进水平，新建大型、超大型数据中心的PUE达到1.4以下。为落实国务院《“十三五”节能减排综合工作方案》，推动数据中心的节能减排，国家发改委联合工信部等七部委于2019年6月发布《绿色高效制冷行动方案》，提出“加快制定数据中心能效标准，实施数据中心制冷系统能效提升工程”。2020年7月，工信部等六部门联合组织开展国家绿色数据中心推荐，选择一批能效水平高、技术先进、管理完善、代表性强的数据中心进行推荐，引导数据中心完善PUE、WUE的监测与管理，加大绿色技术、绿色产品、清洁能源的使用，进一步提高能源资源利用效率。 近年来，为贯彻落实网络强国、数字中国、国家大数据和碳达峰碳中和战略，国家不断强调数据中心绿色高质量发展的重要性。2020年12月，国家发展改革委等四部委联合发布《关于加快构建全国一体化大数据中心协同创新体系的指导意见》，提出加强全国一体化大数据中心顶层设计，再次要求“加快制定数据中心能源效率国家标准”，提出“到2025年，大型、超大型数据中心 运行电能利用效率降到1.3以下”。2021年，“十四五”规划和2035远景目标中指出“推动5G、大数据中心等新兴领域能效提升”。2021年5月，国家发展改革委等四部委发布《全国一体化大数据中心