B 伯努利融合型机柜技术白皮书

伯努利融合型机柜技术白皮书ODCC-2023-0200B 1 [编号ODCC-2023-0200B] 伯努利融合型机柜技术白皮书 开放数据中心委员会2023-09发布 伯努利融合型机柜技术白皮书ODCC-2023-0200B 版权声明 ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。 I 伯努利融合型机柜技术白皮书ODCC-2023-0200B 编写组 项目经理： 李建北京三快云计算有限公司工作组长： 李代程百度在线网络技术（北京）有限公司贡献专家： 薛媛北京三快云计算有限公司 金玉龙北京三快云计算有限公司牛国宇北京三快云计算有限公司梅方义腾讯科技（深圳）有限公司贺光源腾讯科技（深圳）有限公司熊心腾讯科技（深圳）有限公司王舜北京秦淮数据有限公司 王东北京秦淮数据有限公司梁旭飞北京秦淮数据有限公司 夏岩中航光电科技股份有限公司董玉山中航光电科技股份有限公司关培杰广州南盾通讯设备有限公司阮迪中国信息通信研究院 II 伯努利融合型机柜技术白皮书ODCC-2023-0200B 前言 随着互联网和云计算技术的发展，业界对于服务器的算力需求呈现更高性能、更高能效和多元化趋势，CPU、GPU、DPU等不同算力平台带来技术创新的同时，对于基础设施硬件的散热和能效等方面的挑战越来越大。作为基础设施硬件三大核心的服务器、机房、机柜，在当下的产业结构中采用分层解耦设计，各层级主要聚焦在各自的层级进行相关技术探索和优化。从过往的经验来看，这种分层设计在促进产业链做大、做精、做细等方面做出了很大贡献，但是因为产业分工、投入等的方面的差异，导致各层级之间的技术能力无法同时提高或者对齐，从而表现出明显的“木桶效应”。对应层级的技术短板在更强调基础设施硬件综合能力的需求下变的更为突出。 以机柜技术为例，在标准机柜无法满足需求的时候，以ODCC和OCP为代表的行业组织，几乎同时对机柜技术展开技术探索，以天蝎、方升和OpenRack为代表，在机柜的结构设计、空间设计、标准化等方面获得了显著的成果，积累了非常有价值的经验。但是相比服务器层级和机房层级的投入和成果，作为连接服务器和机房的机柜技术探索仍然偏少。比如：服务器可以通过上盖开孔提高系统散热能力，机房冷热通道温差的扩大可以降低能耗，但是因为机柜设计的原因，冷热通道的温差扩大和上盖开孔可能会导致热风回流问题恶化，进而限制服务器散热能力，也反向限制机房能耗的降低。类似这种问题都说明机柜存在明显的技术短板。 III 伯努利融合型机柜技术白皮书ODCC-2023-0200B 为了解决分层设计带来的机柜技术短板问题，美团、腾讯等具备垂直整合能力的互联网厂商倡导基于跨层级的系统化设计理念对服务器机柜进行优化，机柜将承担更多的系统功能需求，不仅具备结构承载能力，还将承担散热能力提升、能效优化等多方面的系统需求。从本项目的实践结果来看，架构改动小、实际收益大，体现了跨层级系统化设计思想对于当下基础设施领域优化的指导意义，同时也希望系统化设计思想可以为行业带来更多的应用收益。 本项目的实施过程中，得到了来自腾讯、秦淮数据、中航光电、ODCC设施组内相关单位和专家的大力支持，同时对支持本项目落地的广州南盾通讯设备有限公司、普洛斯普瑞数据科技（上海）有限公司、德州欧瑞电子通信设备制造有限公司等单位和专家，在此一并表示感谢。 由于时间仓促，水平所限，错误和不足之处在所难免，欢迎各位读者批评指正。如有意见或建议请联系编写组。 IV 伯努利融合型机柜技术白皮书ODCC-2023-0200B 目录 版权声明I 编制说明II 前言III 一、概述1 二、术语、定义和缩略语1 三、伯努利融合型机柜的设计思想1 四、伯努利融合型机柜参考设计标准3 （一）机柜高度5 （二）机柜宽度与深度6 （三）机柜标识8 （四）脚轮与支柱8 （五）机柜承载能力定义9 （六）机柜并柜定义9 （七）机柜布线定义与约束10 （八）设备供电定义与机柜接地12 （九）PDU安装定义13 （十）服务器安装支架15 （十一）交换机专用封堵框设计16 （十二）热端封堵毛刷板设计17 （十三）热端封堵盲板设计18 （十四）机柜热端封堵泡棉设计18 （十五）服务器上下间隙封堵设计19 V 伯努利融合型机柜技术白皮书ODCC-2023-0200B （十六）冷板式液冷兼容设计21 （十七）集中供电兼容设计23 五、对安装设备的结构尺寸约束24 （一）机箱深度（D）24 （二）机箱宽度（W）24 （三）机箱高度（H）24 六、交付模式的定义25 七、使用环境25 VI 伯努利融合型机柜技术白皮书ODCC-2023-0200B 伯努利融合型机柜技术白皮书 一、概述 本白皮书主要介绍伯努利融合型机柜架构设计思想和参考设计方案，定义一种适合中国云数据中心部署使用的通用机柜设计参考，并对参考设计方案中的各种尺寸、设计建议、安装要求等进行明确和介绍。 二、术语、定义和缩略语 术语 解释 RU RackUnit,1RU=44.45mm,EIA-300标准规定的U高，一般称为标准U高。 AU 1AU=45.45mm，起源于阿里牵头在ODCC推动的COCI（ChinaOpenCloudInfrastructure）相关项目对应的服务器U高标准，COCIUnit，1AU=1CU=45.45mm。 SU ScorpioRackUnit,1SU=46.5mm，天蝎机柜规范主推的U高标准。 OU OpenUnit,1OU=48mm，OCP（OpenCumputeProject）主推的U高标准。 三、伯努利融合型机柜的设计思想 随着互联网和云计算技术的发展，业界对于服务器的算力需求呈现更高性能、更高能效和多元化趋势，CPU、GPU、DPU等不同算力平台带来技术创新的同时，对于基础设施硬件的散热和能效等方面的挑战越来越大。作为基础设施硬件三大核心的服务器、机房、机柜，在当下的产业结构中以分层解耦设计为主，各层级主要聚焦在各自的层级进行相关技术探索和优化，其中服务器层级和机房层级的投入和成果更多，而作为连接服务器和机房的机柜技术探索则 1 伯努利融合型机柜技术白皮书ODCC-2023-0200B 相对较少，机柜技术领域在当下已经成为基础设施硬件的短板，呈现出明显的木桶效应。 为了解决基础设施分层设计带来的机柜技术短板，美团、腾讯等具备垂直整合能力的互联网厂商倡导基于跨层级的系统化设计理念对服务器机柜进行优化，充分吸收现有机柜标准的设计经验，对现有机柜架构进行优化设计，提供一款基于伯努利散热架构（机柜前端开放+后端封闭的散热架构）的融合型机柜参考设计，该机柜具备40KW+的单柜散热能力，25℃+的冷热通道支持能力，兼容前后出线，兼容通用服务器和云服务器部署，兼容风冷和冷板式液冷混合部署，兼容标准机柜和整机柜出货，兼容CRPS和集中供电等特点。可以有效解决的当前机柜技术面临的兼容性和能效问题，是一款非常具备应用前景的机柜架构。 伯努利融合型机柜采用热端封闭+冷端开放的创新散热架构，相比业界现有的机柜架构，在提升机柜系统散热能力和能效方面优势明显（相关的数据可以参考ODCC订阅号的文章：美团李建：服务器机柜散热架构优化实践），机柜散热架构对比如下图所示。 2 伯努利融合型机柜技术白皮书ODCC-2023-0200B 图1伯努利散热架构简介 伯努利融合型机柜强调的是融合，既吸纳业界现有机柜的优秀设计，又强化机柜在基础设施中对能效提升的作用，同时充分考虑兼容性，以解决IDC面临的各种混布需求。本文会提供伯努利融合型机柜的参考设计，并对该机柜的所有设计进行开源。需要说明的是，该参考设计主要为架构层面的要求，工程人员可以根据实际使用需求做适当的修改，下面对该机柜的参考设计进行详细介绍。 四、伯努利融合型机柜参考设计标准本机柜的散热架构实现方案如下： （1）热端封闭：机柜后方孔条与后立柱之间实现结构封堵；后方孔条与服务器之间通过泡棉实现热端封堵；服务器上下间隙通过封堵泡棉实现热端封堵。 3 伯努利融合型机柜技术白皮书ODCC-2023-0200B （2）冷端开放：机柜的前方孔条与前立柱之间的间隙打开；服务器上下间隙在机柜前端不做处理。 相关设计可以参考下图。 图2伯努利融合型机柜热端封闭方案 图3伯努利融合型机柜冷端开放方案 4 伯努利融合型机柜技术白皮书ODCC-2023-0200B （一）机柜高度 伯努利融合型通用机柜参考设计高度2500mm，配置支撑柱，不配置脚轮。该机柜高度保持机柜架构保持一致的基础上，可以根据实际需要进行适配设计，比如42U或者46U的高度标准。 图4伯努利融合型机柜高度 伯努利融合机柜架构本身可以兼容不同的U高设计标准，原则上兼容业界常用的4种U高标准，包含RU/AU/SU/OU。本文的机柜参考设计采用SU标准，可安装服务器空间为52SU，兼容RU/AU标准的服务器部署。不同U高标准定义参考如下表所示： 5 伯努利融合型机柜技术白皮书ODCC-2023-0200B 表1不同U高标准 U高不同标准名称 标准来源 尺寸 主要使用场景 RU EIA-310-D 44.45mm 最通用标准，OEM服务器通用标准 AU ODCC-方升 45.45mm 阿里使用 SU ODCC-天蝎 46.45mm 百度、腾讯、美团等 OU OCP 48mm 国外互联网主用 （二）机柜宽度与深度 伯努利融合型机柜宽度、深度尺寸的参考设计如下: 图5机柜横截面TOP视图 主要尺寸如下： （1）机柜方孔条安装空间位450mm,允许正偏离0mm/+2mm。 （2）服务器安装孔距离465mm，允许公差为0mm/+2mm。 6 伯努利融合型机柜技术白皮书ODCC-2023-0200B （3）机柜前后方孔条距离720mm，允许公差+2mm/-2mm，此尺寸也可以根据实际需要进行调整，如果兼容更小深度的服务器，建议通过移动前方孔条的方式实现，后方孔条和后立柱不建议移动，本参考设计可以支持前后方孔条距离在700mm-720mm之间调节。 （4）机柜深度尺寸1200mm，允许公差为+2mm/-2mm。 （5）机柜高度尺寸为2500mm，允许公差为+3mm/-3mm。 （6）L型深度尺寸建议650mm，允许公差为+2mm/-2mm, （7）L型支架安装面距离可根据实际使用需求做定制设计，参考设计方案为了兼容通用服务器，该尺寸建议为350mm，允许公差为+2mm/-2mm。 （8）PDU固定支架端面距离机柜后端面125mm，允许公差为0mm/+2mm，此空间内专为PDU预留，可以支持PDU前后出线和左右出线等固定方式，可以根据需要灵活设计。 机柜内部空间定义如下图所示，机柜后方孔条不得占用，不能 绑扎线缆等，相关线缆均要求在前后理线区域进行绑扎固定。 图6伯努利融合型机柜内部空间定义 7 伯努利融合型机柜技术白皮书ODCC-2023-0200B （三）机柜标识 机柜方孔条机柜U数从下至上标识，从1开始。是否喷涂漆面不做严格约束，可以根据实际使用环境和需求决定，如果方孔条不做漆面喷涂，可以直接用镀锌表面处理，同时相关切口需要做好防腐处理。后侧方孔条粘贴封堵泡棉的位置要求不做喷涂，以保证粘合可靠性。 （四）脚轮与支柱 机柜本身兼容配置脚轮和不配置脚轮设计，如果配置脚轮，脚轮要求为万向轮，单轮承重大于450kg，4组脚轮，满足9度坡道推动，需要可以通过20mm宽的窄缝隙。通用机柜参考设计中不配置脚轮，但是配置调平支架，要求脚杯底座可旋转，在调平时对地面无磨伤。 图7脚轮和立柱 8 伯努利融合型机柜