高密度数据中心设计要求和测试规范

高密度数据中心设计要求和测试规范ODCC-2022-05003 分布式存储技术与产业分析报告 1 [编号ODCC-2022-05003] 高密度数据中心设计要求和测试规范 开放数据中心标准推进委员会 2022-09发布 高密度数据中心设计要求和测试规范ODCC-2022-05003 版权声明 ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。 I 高密度数据中心设计要求和测试规范ODCC-2022-05003 编制说明 本报告由中国信息通信研究院云计算与大数据研究所牵头撰写，在撰写过程中得到了多家单位的大力支持，在此特别感谢以下参编单位和参编人员： 参编单位（排名不分先后）： 中国信息通信研究院（云大所数据中心团队）、英特尔（中国）有限公司、广东云下汇金科技有限公司、深圳市英维克科技股份有限公司、中航光电科技 股份有限公司 参编人员（排名不分先后）： 谢丽娜、易明、郭亮、李宁东、邢玉萍、周绍荣、范正国、谭长华、高忠林、王前方、王飞、韩云钊、董玉山 项目经理： 谢丽娜xielina@caict.ac.cn II 高密度数据中心设计要求和测试规范ODCC-2022-05003 前言 功率密度是数据中心在规划和设计阶段需要明确的一个重要参数，当前业界普遍接受用“单机架功耗”参数来表示数据中心功率密度。随着服务器芯片集成度越来越高、工艺不断升级，及其承载业务复杂度和需求量提高，数据中心的整体功率密度呈现上升趋势。面对数据中心高功率密度发展趋势，业界亟需制定高密度数据中心相关设计要求和测试方法来统一要求。 本项规范围绕高密度数据中心建筑结构、供配电、制冷、IT设备、运营、监控等方面编制规范要求，主要通过单机架功率高低界定数据中心功率密度等级，突出高密度数据中心与低密度数据中心的设计和测试差异。 II 高密度数据中心设计要求和测试规范ODCC-2022-05003 目录 版权声明I 编制说明II 前言III 一、范围1 二、规范性引用文件1 三、术语、定义和缩略语2 （一）术语和定义2 （二）缩略语4 四、技术要求5 （一）高密度数据中心功率密度要求5 1.数据中心功率密度定义5 2.功率密度分级5 （二）数据中心功率密度规划设计5 1.规划步骤6 2.功率密度规范制定方法6 3.功率密度规划策略6 4.总体TCO最优理念7 五、建筑结构7 （一）建筑要求7 （二）结构要求8 六、供配电子系统8 七、制冷子系统10 I 高密度数据中心设计要求和测试规范ODCC-2022-05003 （一）一般要求10 （二）液体冷却要求12 八、IT设备子系统17 九、运营子系统19 （一）运营管理19 1.服务管理19 2.用户管理19 3.运营统计19 （二）运维管理19 十、监控子系统21 （一）电气监控子系统21 （二）空调监控子系统21 （三）安防监控子系统21 （四）消防报警管理子系统22 （五）监控管理子系统22 十一、测试规范22 （一）功率密度测量22 （二）能效测量22 （三）建筑结构测试23 （四）供配电子系统测试23 （五）制冷子系统测试24 （六）IT设备子系统测试24 （七）运营子系统测试24 V 高密度数据中心设计要求和测试规范ODCC-2022-05003 （八）监控子系统测试25 V 高密度数据中心设计要求和测试规范ODCC-2022-05003 一、范围 本文件规定了高密度数据中心建筑结构、供配电、制冷、IT设备、运营、监控等方面的技术要求。 本文件适用于高密度数据中心规划、设计、建设、部署等场景。 二、规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB 17167 用能单位能源计量器具配备和管理通则 GB 50011 建筑抗震设计规范 GB 50016 建筑设计防火规范 GB 50023 建筑抗震鉴定标准 GB 50052 供配电系统设计规范 GB 50053 20kV及以下变电所设计规范 GB 50108 地下工程防水技术规范 GB 50174 数据中心设计规范 GB 50189 公共建筑节能设计标准 GB 50223 建筑工程抗震设防分类标准 GB 50303 建筑电气工程施工质量验收规范 1 高密度数据中心设计要求和测试规范ODCC-2022-05003 GB50311综合布线系统工程设计规范 GB50314智能建筑设计标准 GB50348安全防范工程技术标准 GB50367混凝土结构加固设计规范 GB50370气体灭火系统设计规范 GB40879数据中心能效限定值及能效等级 YD/T2542电信互联网数据中心(IDC)总体技术要求 YD/T2543电信互联网数据中心(IDC)的能耗测评方法 YD/T3399电信互联网数据中心（IDC)网络设备测试方法YD/T4024数据中心液冷服务器系统总体技术要求和测试方法T/EES0013“领跑者”标准评价要求数据中心 T/CCSA272数据中心浸没式液冷服务器系统技术要求和测试方法 JGJ116建筑抗震加固技术规程 JGJ145混凝土结构后锚固技术规程 ODCC-2021-05002数据中心功率密度演进白皮书 三、术语、定义和缩略语 （一）术语和定义 下列术语和定义适用于本文件。 2 高密度数据中心设计要求和测试规范ODCC-2022-05003 1.高密度数据中心high-densitydatacenter 指服务器单机架平均运行功率超过10kW/架，专门用来对大容量存储、高性能计算、功率较大的小型计算机等信息设备配套建设的数据中心。 2.数据中心datacenter 数据中心是自用或向用户提供资源出租基本业务和有关附加业务、在线提供IT应用平台能力租用服务和应用软件租用服务的场所。 3.智能供冷技术intelligentcoolingtechnology 指根据数据中心内IT设备的负载率变化来控制数据中心内精密空调送风制冷的一种技术。可以通过检测IT设备负载率的变化来检测IT设备的用电功率，可以调用IT设备内部的温度参数，实现过温预警和告警。 4.总体拥有成本totalcostofownership 指数据中心全生命周期内，建设费用和运行费用的总和。 5.主机房computerroom 主要用于数据处理设备安装和运行的建筑空间，包括服务器机房、网络机房、存储机房等功能区域。 6.辅助区auxiliaryarea 用于电子信息设备和软件的安装、调试、维护、运行监控和管理的场所，包括进线间、测试机房、总控中心、消防和安防控制室、拆包区、备件库、打印室、维修室等区域。 7.电能利用效率powerusageeffectiveness(PUE) 表征数据中心电能利用效率的参数，其数值为数据中心内所有用电设备消耗的总电能与所有电子信息设备消耗的总电能之比。 3 高密度数据中心设计要求和测试规范ODCC-2022-05003 8.碳利用效率carbonusageeffectiveness（CUE） 数据中心CO2总排放量与IT负载能源的比值,单位是kgCO2eq/kWh。碳利用效率是测量和计算数据中心碳利用效率的方法。 9.水利用效率waterusageeffectiveness(WUE) 表征数据中心水利用效率的参数，其数值为数据中心内所有用水设备消耗的总水量与所有电子信息设备消耗的总电能之比。 10.抗震设防分类seismicfortificationcategoryforstructures 根据建筑遭遇地震破坏后，可能造成人员伤亡、直接和间接经济损失、社会影响的程度及其在抗震救灾中的作用等因素，对各类建筑所做的设防类别划分。 11.抗震设防烈度seismicprecautionaryintensity 按国家规定的权限批准作为一个地区抗震设防依据的地震烈度。 （二）缩略语 ATS AutomaticTransferSwitching 自动转换开关 CDU CoolantDistributionUnit 冷却液分配单元 DCIM DataCenterInfrastructureManagement 数据中心基础设施管理 EMC ElectroMagneticCompatibility 电磁兼容 IT InformationTechnology 信息产业 LED LightEmittingDiode 发光二极管 PDU PowerDistributionUnit 电源分配单元 PSU PowerSupplyUnit 电源供应设备 TCO TotalCostofOwnership 总拥有成本 UPS UninterruptiblePowerSupply 不间断电源 VPN VirtualPrivateNetwork 虚拟专用网络 4 高密度数据中心设计要求和测试规范ODCC-2022-05003 四、技术要求 本文件根据功率密度对数据中心进行分类，具体分为超高密度数据中心、高密度数据中心、中密度数据中心和低密度数据中心。随着技术的发展和创新，本文件将会升级，更新高密度数据中心对于单机架平均运行功率的要求。 （一）高密度数据中心功率密度要求 1.数据中心功率密度定义 按照ODCC-2021-05002白皮书相关定义，功率密度指单位模块数据中心的用电量，业界用于表达功率密度的参数主要有两个：单位机房面积用电量和单机架用电量。 但由于“面积”参数的划定范围容易产生歧义，同时不同数据中心、不同系统配置导致的空间占用差距较大，所以该指标并未在业界作为功率密度参数广泛应用。单机架用电量，通常用kW/机架来表示。该参数可以直观反映单个机架的装机能力。当前，我国互联网数据中心的IT设备基本均采用机架服务器设备，因此，用单机架用电量指标来衡量数据中心功率密度。 2.功率密度分级 数据中心功率密度分级定义如表1所示： 表1数据中心功率密度分级 机房密度 超高密度 高密度 中密度 低密度 单机架平均运行功率 （kW/架） ≥20kW/架 ≥10kW/架且<20kW/架 ≥5kW/架且<10kW/架 ≥2kW/架且<5kW/架 （二）数据中心功率密度规划设计 5 高密度数据中心设计要求和测试规范ODCC-2022-05003 可根据安装设备类型的不同，对数据中心中不同机房模块、不同机房区域设置不同等级的功率密度，简单步骤和原则如下： 1.规划步骤 a）数据中心可申请外电容量确定后，根据设计PUE，可知分配给IT设备的用电量，此时若数据中心规划自然机架数量已明确，则可推算出整个数据中心的平均功率密度具体数值。 b）分等级对安装不同类型设备的机房模块进行功率密度规划，设计单位再结合供配电和制冷系统的设备容量选型对功率密度进行细化设计。 2.功率密度规范制定方法 在设计功率密度规范时，应不单单考虑尽量满足现阶段供电制冷的资源利用，还应尽可能进行超前布局，考虑未来数据中心功率密度提升的规划。针对这一问题，数据中心主体单位应充分研判未来业务发展方向和功能定位变化，制定分阶段的多套数据中心规划方案，从而进行详细的规划。 3.功率密度规划策略 在具体规划数据中心功率密度时应遵循以下原则： a）合理规划和设计功率密度。 b）在具体规划上需要在一定程度上满足未来的未知需求。c）能够支持供电和制冷能力的借用。d）支持分阶段部署。 e）尽可能减少功率密度提高后对运维阶段的可靠性和数据中心能耗的影响。 6