2023边缘浸没服务器技术白皮书

边缘浸没服务器技术白皮书ODCC-2023-04007 1 [编号ODCC-2023-04007] 边缘浸没服务器技术白皮书ODCC-2023-04007 版权声明 ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。 I 边缘浸没服务器技术白皮书ODCC-2023-04007 编写组 项目经理： 李雄比亚迪精密制造有限公司工作组长： 陈炜深圳市腾讯计算机系统有限公司贡献专家： 李雄比亚迪精密制造有限公司林炳宽比亚迪精密制造有限公司李必映比亚迪精密制造有限公司彭程比亚迪精密制造有限公司曾丹丹比亚迪精密制造有限公司刘恒比亚迪精密制造有限公司马晓侠比亚迪精密制造有限公司崔勇比亚迪精密制造有限公司常金凤中国信息通信研究院 周智勇深圳绿色云图科技有限公司李桂洪深圳绿色云图科技有限公司 II 边缘浸没服务器技术白皮书ODCC-2023-04007 前言 随着大数据，云技术，物联网技术的蓬勃发展，越来越多的应用催生出对边缘计算的需求，数据决策的需求，数据决策过程逐渐从数据中心向边缘侧迁移。与此前依托于集约大型IDC的云计算场景不同，边缘计算对硬件基础设施提出更高的要求。面对这一挑战，边缘服务器应运而生。作为新型边缘计算的重要基础设施之一，边缘服务器可以在恶劣的边缘环境中稳定工作，将本地高性能智能服务承载到数据源附近以实现云边缘端的无缝协作。IT设备浸没式液冷是一种新型的冷却方式，其中IT设备（例如服务器）浸没在导热介质液体中。浸没式液冷的特点是潜在的100%热俘获能力、比风冷更低的电源使用效率（PUE）、更强的散热能力以及代际兼容的可能性。这些特性能很好的使边缘服务器在高温高湿的环境中工作。另外，浸没式液冷其自身的结构特点潜在的满足了风冷系统设计中对噪音以及防水防尘的需求，这些优势有效解决了高性能边缘服务器在边缘部署中的困难和痛点，从而使高性能服务器能更适用于边缘环境。 浸没式液冷系统主要分为两种类型：单相浸没式液冷和两相浸没式液冷。在单相浸没式液冷设计中，冷却液不会产生相变，能够一直保持为液体，并且由于液体的热特性，是一种比空气更有效的传热介质。冷却液通过自然对流和强制对流方式传导热量，然后再通过散热器或冷却剂分配单元（CDU）将热从设备中传导到外部环境。两相浸没式液冷设计利则用了液体到气体之间的相变产生的热交换进行散热，因此需要使用到冷凝器将气体转化为液体。故相比单相 II 边缘浸没服务器技术白皮书ODCC-2023-04007 浸没式液冷系统，两相浸没式液冷系统尺寸更大，往往无法在一个机箱中集成系统的所有部件，因而并不适用于边缘部署环境。 因此，本书主要考量单相浸没式液冷的系统架构并围绕边缘浸没服务器进行阐述。本书首先介绍边缘浸没式应用范围；随后介绍边缘浸没式硬件配置与散热的原理；紧接着介绍比亚迪的一款边缘浸没式详细设计与其相对于风冷可靠性稳定性对比；最后阐述边缘浸没服务器的未来发展趋势与具体应用案例。 由于时间仓促，水平所限，错误和不足之处在所难免，欢迎各位读者批评指正。如有意见或建议请联系编写组。 I 边缘浸没服务器技术白皮书ODCC-2023-04007 目录 版权声明I 编写组II 前言III 一、边缘计算概述1 二、边缘计算硬件2 （一）网络性能需求2 （二）环境适应性需求2 （三）便捷维护性需求3 （四）低噪声需求3 三、边缘计算服务器的特点3 （一）形态灵活多变3 （二）优异的环境适应性4 （三）灵活的可扩展性：4 （四）运维管理统一便捷性：4 四、精简的物理规格4 （一）模块化发展历程5 （二）多样的模块化配置6 （三）三防设计与优化8 （四）绿色节能的液冷9 五、边缘浸没服务器具体设计案例9 （一）边缘浸没服务器规格计算模块配置参数10 （二）液冷使用溶液参数10 V 边缘浸没服务器技术白皮书ODCC-2023-04007 （三）整机&单板示意图11 （四）单板电气部分拓扑图12 （五）BMC控制拓扑图13 （六）热仿真模型示意图13 （七）仿真温度速度压力流场示意图14 （八）仿真关键零部件温度表14 （九）重要元器件与液冷液兼容测试16 六、总结展望与应用具体案例28 （一）模块化设计28 （二）更优的散热设计29 （三）融合边缘计算管理运维平台29 （四）管理数据流可通过业务网口传输30 （五）算力的提升与多元化30 （六）应用具体案例31 V 边缘浸没服务器技术白皮书ODCC-2023-04007 边缘浸没服务器技术白皮书 一、边缘计算概述 边缘计算的基本思想是将计算从核心网络下沉到网络边缘，减少核心网络拥塞和数据传播延迟，在接近移动用户终端的无线接入网内提供服务环境和计算功能。它可以将数据的处理，应用程序的运行，甚至一些功能服务的实现，由中心服务器下放到网络边缘的节点。边缘计算可以作为联接物理和数字世界的桥梁，使能智能资产，智能网关，智能系统和智能服务。 边缘计算是云计算向边缘的延伸，相比于传统数据中心基础设施和业务模式，边缘计算具有CROSS特性，即互联的海量数据，业务实时性，数据的优化，应用的智能性以及边缘数据的安全和隐私保护。同时边缘计算可以协助传统云计算业务，实现计算能力的细分，将部分资源和服务下沉到边缘位置，丰富业务类型，提升服务质量和用户体验，云计算也可以依赖边缘计算作为数据采集单元以更好的支撑云端应用。以应用场景及价值市场维度分析，边缘计算主要分为三类：电信运营商边缘计算、企业与物联网边缘计算、工业边缘计算。目前业界尝试推进的边缘场景主要有ICT融合场景、泛CDN、智能联网汽车、工业互联网、产业+AL、城市治理、智能物联网等七大类。以其中的车联网为例，通过车联网平台的本地算力，可以提供紧急情况下的告警辅助信息、路径优化、行车引导、安全 1 边缘浸没服务器技术白皮书ODCC-2023-04007 辅助信息等等服务，这些服务直接通过本地边缘计算无需占用带宽去中心机房进行处理，突出低延时。 二、边缘计算硬件 随着边缘计算技术成熟和市场的快速发展，边缘技术场景和应用的多元化特征越来越明显。以ICT融合场景、泛CDN、智能物联网等为代表的落地最快速的应用场景对边缘技术服务器提出了与传统服务器不同的需求。 （一）网络性能需求 5G网络的三大典型企业应用进行场景与边缘计算能力密切结合相关，其中URLLC对超高性能可靠低时延通信的要求，eMBB对高带宽的要求与MIOT对大连接的要求，都需要通过边缘系统计算数据服务器的支持。而以AGV小车、自动驾驶、工业质检等为代表的即时边缘设备应用场景对设备计算的低延时要求非常苛刻。道路上路况识别的效率、产线中缺陷检查的效率与道路安全与企业成本效益相关，对承载此关键应用的边缘服务器提出极高的需求。 （二）环境适应性需求 边缘计算场景复杂多样，在电信机房、边缘电气柜、工业现场控制柜、车载环境都有部署要求，需要边缘服务器在宽工作温度湿度、高震动、高尘土、高辐射等恶劣环境都有良好的适应性，能够可靠稳定运行。 2 边缘浸没服务器技术白皮书ODCC-2023-04007 （三）便捷维护性需求 边缘服务器经常需要部署在偏远地区，运维人员上门困难，部分环境不具备现场维修条件，需要服务器具备远程维护或快速换件等功能，所以统一管理异构服务器，是边缘服务器运维关键需求，包括不限于：统一的运维管理接口、业务自动部署能力、有效可靠的故障处理能力。 （四）低噪声需求 部署在人机共存环境的应用（如智慧园区，智慧办公/考勤等）对边缘服务器提出低噪音要求，需要服务器在近人空间安静运行。 三、边缘计算服务器的特点 边缘计算服务器是应用在边缘场景的服务器，服务器相比工控机/智能网关等其他边缘设备具有技术成熟、标准统一、计算性能和稳定性强等优势，更能适应边缘应用因5G和Ai技术发展而飞速提高的算力和可靠性需求。 （一）形态灵活多变 边缘服务器按照环境适应性及算力性能的差异化需求，可以分为一体化交付到应用现场的边缘微中心、适用于机房及边缘数据中心的边缘机架服务器、适用于工业现场及数据搬迁的便携AI服务器、直接就近部署在端侧设备附近的边缘微服务器等。灵活的形态满足不同场景对服务器的部署要求。 3 userid:414195,docid:142636,date:2023-10-13,sgpjbg.com 边缘浸没服务器技术白皮书ODCC-2023-04007 （二）优异的环境适应性 •30℃~60℃宽环温、地震九级、CLASSB级电磁兼容等。 （三）灵活的可扩展性： •硬盘支持HDD/SSD/NVMESSD等存储形式，灵活应对不同数据容量及类型。 •兼容支持多种内存，将内存的容量，温度适应性，掉电保护等功能，可做到根据场景选配。 •处理器性能及功耗可根据功能需求选配。 •可选配置基于ASICApplicationSpecificIntegratedCircuit、特殊应用集成电路、FPGAFieldProgrammableGateArray可编程逻辑门阵列、智能网卡或其它硬件加速方案卸载部分CPU功能，以节约CPU资源并提高处理效率。 （四）运维管理统一便捷性： •统一管理接口：服务器有统一完善的管理接口要求以减少带外管理系统带来的大量适配工作。 •运维高效：边缘服务器运维操作简单快捷，减少人力成本。 •故障诊断及自愈：服务器BMC具备基本故障诊断及上报能力，并提供硬件平台自愈方案。 四、精简的物理规格 4 边缘浸没服务器技术白皮书ODCC-2023-04007 部署边缘计算服务器的机房通常不具备云计算数据中心的空间、供电、制冷等技术条件。同时，边缘业务在边缘服务机房的交付、部署和本地运维又有着大规模、分布化的特点。针对这些问题，首先就从物理规格的精简入手，以便于设备的部署。 （一）模块化发展历程 通过查询搜索引擎“模块化服务器”，在百度百科中找到一个相关词条“英特尔模块化服务器”，百度百科是这样描述的“英特尔模块化服务器将计算、存储、I/O、管理等模块集成到了一个机箱系统中，支持多达6个计算模块和14个2.5英寸SAS硬盘，以及两个以太网交换机模块、集成的SAN（存储区域网络）和一个管理模块，其中服务器计算模块支持2路四核及双核英特尔至强处理器。英特尔模块化系统采用了英特尔Multi-Flex技术，这是一系列可帮助客户简化操作、降低成本并提高灵活性的管理和存储技术的组件，具体包括以下技术：虚拟存在、虚拟存储映射、自动操控存储管理、预测硬盘故障、全局和专用热备件、电池正常状态管理、自适应回写高速缓存、单点登录、资源分配布局、集成的存储域网络、安全存储传输、集中化事件记录与审核、实时卷扩展、带外系统管理、诊断、即时显示的数据、集成切换管理、统一的软硬件更新等，可以大大减化管理维护工作，提高管理员的工作效率。从结构上讲，整个模块化服务器有以下几个子系统组成：计算子系统、存储子系统、交换子系统、供电子系统、管理子系统制冷子系统，所有子系统通过中板和交换机的连接及机箱的固定形成一个有机整体。 5 边缘浸没服务器技术白皮书ODCC-2023-04007 （二）多样的模块化配置 边缘服务器可通过对各个功能模块解耦，优化，将重复的功能拆分开，根据不同场景和应用需求重新组合。通过模块化的设计和模块复用，降低成本，缩短开发周期，同时模块化布局可满足小型化、高密度的应用需求，在空间敏感的应用场景具有很大优势，通过功能模块化设计，实现在同一物理规格下提供不同的边缘能力，以满足不同应用场景需求。 1.边缘智能 边缘节点借助人工智能技术，可以更好地提供高级数据分析、场景感知、实时决策、自组织、协作等智能服务，利用AI异构计算