浸没式液冷电子装联工艺设计白皮书

浸没式液冷电子装联工艺设计白皮书 I [编号：ODCC-2023-09004] 浸没式液冷 电子装联工艺设计白皮书 浸没式液冷电子装联工艺设计白皮书 版权声明 浸没液冷智算产业发展论坛发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用浸没液冷智算产业发展论坛成果中的文字或者观点的，应注明来源：“浸没液冷智算产业发展论坛”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，浸没液冷智算产业发展论坛及有关单位将追究其法律责任，感谢各单位的配合与支持。 I 浸没式液冷电子装联工艺设计白皮书 编制说明 本报告由阿里云计算有限公司牵头撰写，在撰写过程中得到了多家单位的大力支持，在此特别感谢以下参编单位和参编人员： 参编单位（排名不分先后）： 阿里云计算有限公司、中国信息通信研究院、OPPO广东移动通信有限公司、富士康工业互联网股份有限公司 参编人员（排名不分先后）： 李小鹏、文芳志、郭亮、唐虎、郭锐、钟杨帆、陈显峰、孙春甲、刘向东、何立权、李儒旭、李亮、高月蓉、封泽强、黄金华、黄保松 项目经理： 李小鹏邮箱：bruce.lxp@alibaba-inc.com II 浸没式液冷电子装联工艺设计白皮书 前言 大数据、云计算技术的快速发展，让世界变得更加互联、人类生活日趋便捷的同时，也将需要越来越多的计算能力。硅芯片逐步逼近物理和经济成本上的极限，各界纷纷预测，摩尔定律再不久的将来面临失效，半导体工艺升级带来的计算性能提升不能再像以前那么快了。如何应对未来高算力需求的挑战：一个方向是借助服务器内部构建更多的计算单元提升单机计算力，而这直接导致芯片功耗及散热成为新挑战。另外一个方向是云计算，云计算令计算资源集中化，高密度的提升必然带来热密度的上升，对于支撑服务器稳定运行的数据中心而言则带来巨大的能耗挑战。阿里云计算有限公司通过长期摸索实践，通过浸没液冷技术形成商用规模的液冷集群，完美的解决了高密度高功耗下的计算环境问题。 浸没式液冷环境下服务器散热方式从风冷变为液冷，不仅仅是散热介质的变化。服务器整机形态，制造工艺及流程，上架方式、维护方式，工艺可靠性等也发生了变化，风冷场景的工艺设计规则无法完全满足新场景的设计要求，包括电子装联、工艺可靠性，材料兼容性，制程管控等方面，本白皮书以当前阿里云计算有限公司在浸没式液冷应用多年实践为基础，以服务器开发流程为主线全面介绍浸没式液冷场景工程工艺的技术探索及设计要求，旨为浸没式液冷服务器电子装联工艺提供设计指导，为浸没式液冷服务器开发者提供开发阶段设计参考。 III 浸没式液冷电子装联工艺设计白皮书 目录 版权声明I 编制说明II 前言III 1.术语和缩略语1 1.1术语1 1.2缩略语1 2.参考标准2 3.浸没式液冷服务器PCBA工艺设计要求3 3.1材料兼容性3 3.2器件选型6 3.3PCBA可靠性设计及测试10 3.4PCB设计12 4.服务器整机工艺设计及部件选型13 4.1服务器整机工艺可靠性设计13 4.2服务器整机部件选型14 5.液冷场景服务器PCBA工艺可靠性回归分析15 6.总结21 IV 浸没式液冷电子装联工艺设计白皮书 1.术语和缩略语 1.1术语 序号 术语 解释 1 一阶模态 一阶模态是外力的激励频率与物体固有频率相等的时候出现的，此时物体的振动形态叫做一阶振型或主振型 2 微应变测试 应变是形变量与原来尺寸的比值，用ε表示，即ε=ΔL/L，常用百分数表示；微应变测试也是用来测量形变的变化程度， 3 红墨水测试 红墨水测试主要是用来检验电子零件的表面贴装技术(SMT)有无空焊或是断裂(crack)。 4 背钻 背钻是高速链路中，将过孔与信号连接层以外未连接信号线的部分（通常叫做Stub），通过二次钻孔的方式将其去除的PCB加工工艺。 5 树脂塞孔 树脂塞孔是指使用树脂材料将PCB上的过孔，背钻孔、埋孔等塞住的PCB加工工艺。 6 Layout PCB设计的器件布局及线路布线 7 器件Standoff 器件本体基于贴装平面被抬高的距离 8 锡珠 在PCB焊接过程中未能与焊盘上的锡膏熔融在一起而独立出来，成型于元件本体或者焊盘附近的小锡球 1.2缩略语 缩略语 英文全名 中文解释 PCB Printedcircuitboards 印制电路板 PCBA PrintedCircuitBoardAssembly PCBB板经过SMT上件，或经过DIP插件的整个制程，简称PCBA SMT SurfaceMountedTechnology 表面贴装技术 Dk Dielectricconstant 介电常数 DF Dissipationfactor 介质损耗因子 PTH PlatingThroughHole 通孔直插式元件 SMD SurfaceMountedDevices 表面贴装器件 1 浸没式液冷电子装联工艺设计白皮书 2.参考标准 序号 编码 名称 1 IPC-A-610 电子装配可接收性标准 2 IPC-A-600 印制板质量检验标准 3 IPC-6011 PCB通用性能规范 4 IPC-TM-650 测试方法手册 5 IPC/EIAJ-STD-001 焊接的电气和电子组件要求 6 GB/T2423.8 电工电子产品环境试验标准 7 GB/T4857.1 包装运输包装件试验时各部位的标示方法 8 GB/T4857.5 包装运输包装件跌落试验方法 9 GB/T4857.23 包装运输包装件随机振动试验方法 2 浸没式液冷电子装联工艺设计白皮书 3.浸没式液冷服务器PCBA工艺设计要求 工艺设计贯穿整个产品的研发、量产到生命周期管理。研发阶段工艺主要承担产品的可制造性及工艺可靠性设计，包含器件、线缆、PCB、PCBA、整机、及生产端的制程优化及重大工艺问题分析。浸没式液冷与风冷场景的差异及风险分析是做好浸没式液冷场景工艺设计的关键，本白皮书主要从PCBA和整机两部分提出液冷场景需重点管控的工艺设计要求。 服务器PCBA主要包含PCB、电子元器件、结构装配件和导热材料、标签和相关焊接材料等，PCBA的组装制程包含SMT，分板、波峰焊接、压接、装配及测试等。液冷场景材料兼容性，PCB可靠性、信号质量，冷却液污染，异物短路等风险需要在研发端工艺设计过程考虑及规避。 3.1材料兼容性 所有浸没在冷却液中的物料均需与冷却液长期兼容。常用物料主要成分有金属、橡胶、塑料、陶瓷、硅等，所谓的兼容应由兼容性测试报告证明，兼容性存疑及冷却液厂商兼容性清单之外的物料均应进行兼容性测试；采用液体对物料进行浸泡兼容性测试验证，需要满足功能性及长期可靠性验证需求，需验证通过方可认定兼容。 最常见的兼容性问题如浸泡在冷却液中的材料发生溶解，材料与液体反应出现溶解现象（如图1），不但可能会影响部件自身的功能，而且析出的成分也可能污染冷却液，使得冷却液的物理特性发生变化，导致不可挽回的后果。因此，要求部件材料与冷却液能长期兼容，不应影响液体和部件的功能。 3 浸没式液冷电子装联工艺设计白皮书 图1线缆测试前（左）和线缆测试后（右） 其次，部件长期浸泡在在冷却液中，材料与冷却液发生反应，材料的颜色 可能会发生变化（如图2），因此对部件的外观颜色有要求的也需要特别留意。 图2聚氨酯橡胶浸泡前（左）、后（右） 某些塑胶类部件长期浸泡在在冷却液中，材料的形状也可能发生变化（如图3），对于部件形状尺寸有要求的，也需要特别注意兼容性问题。 图3ABS浸泡前（左）、后（右） 也是有可能与冷却液发生反应，产生氧化或宏观形貌上的变化（如图4）。 4 大部分常见金属与冷却液兼容性较好，但个别金属长期浸泡在在冷却液中 浸没式液冷电子装联工艺设计白皮书 图4H62黄铜浸泡前（×200）与H62黄铜浸泡后（×200） 照片观察到黑点为腐蚀的孔洞。（如图5） 通过检测设备仔细观察，可以发现H62黄铜金属表面产生少量黑点，光学 图5H62黄铜试验后黑点光学图片 材料与冷却液兼容性除了外观上的变化外，也有材料部件功能性发生该改 变的情况，例如下图6&7胶水浸泡前后其剪切强度的变化。胶水因为长期浸泡 在液体中，其最大剪切强度下降，对胶水的性能造成较大的影响，所以选择胶 水类型也需要关注其与冷却液的兼容性。 图6胶水测试样品 5 浸没式液冷电子装联工艺设计白皮书 图7浸泡前（1和5）与浸泡后（3和4）胶水剪切强度变化 除了胶水还有IT设备中的导热材料，经过以往测试发现个别导热材料长期浸泡在冷却液中会发生硬化现象如下图8（变为固体颗粒），同时造成其热阻值快速恶化，长期使用器件温度有超温风险。 图8浸泡前（左）与浸泡后（右）导热材料 体积变化、质量变化及硬度弹力变化等，对于一些功能性要求的部件，也可能 出现功能恶化。 因此要求我们在设计或引入部件时，需要考虑部件与冷却液的长期兼容性， 部件在冷却液中浸泡后的产物，应对液体和部件功能等无影响。对于重要材料，也可以通过兼容性测试结果，反向推动冷却液成分优化，让冷却液的稳定性及 如果部件材料选择不当，长期浸泡在冷却液中可能发生明显的颜色变化、 兼容性更好。 3.2器件选型 器件选型在浸没式液冷环境也相当重要，一方面考虑器件选型对PCBA加工制程及后续在液体环境中对机器运行的影响，另一方面考虑液体对器件本身工作的性能及可靠性的影响。 6 浸没式液冷电子装联工艺设计白皮书 1、对于插件器件，优选满足通孔回流焊接工艺的规格，降低波峰焊接工艺引入的锡珠和助焊剂残留对机器运行及液体污染的影响。 1）波峰焊制程由于其工艺特点，焊接过程容易产生锡珠如下图9，常规的做法是在波峰焊接后增加清除锡珠工序，但容易疏漏也增加人力成本。 图9 2）浸没式液冷场景机器上架方式与分冷不同，风冷场景机器上架是水平插入机柜如下图10，而液冷场景机器为垂直上架如下图11，该状态下PCBA上的锡珠在上架过程的振动和液体流动冲刷下容易脱落，可能造成服务器内部器件短路如下图12。 图10图11 7 浸没式液冷电子装联工艺设计白皮书 图12 3）波峰焊接制程助焊剂残留容易吸附灰尘及异物如下图13，会造成液体污染，不利于液冷环境洁净度管控。 图13 2、Highspeedconnector需要结合实际链路，提前做好选型和仿真测试验证，选择合适性能的连接器，减小产品设计的风险。 1）业界现阶段的Highspeedconnector大部分都是按照风冷场景设计的，但浸没式液冷下的应用基本无考量。而浸没式液冷的液体材料对Connector和Cable的影响，主要是取决于connector自身的结构，业界不同厂家connector的内部结构设计基本都是通过空气来控制阻抗的，并没有单独的屏蔽层包裹；如果外部环境由空气变成液体，而液体材料的电气特性Dk和Df与空气不同，必然会对连接器本身的电气特性产生影响。 3、光电器件的选择需要考虑密封性，避免液体的影响导致其工作异常。 8 浸没式液冷电子装联工艺设计白皮书 1）浸没式液冷环境使用的冷却液会影响光电器件内部光路传输路线，因为光在空气中和冷却液中的折射率不一样，如用于风冷场景的光模块浸泡在冷却液中会导致光路偏移，从而使器件不能正常工作； 2）不仅器件或模块本身需要密封处理，接口处也需要考虑，避免接口处信号传输异常。 4、存在物理机械动作的器件，如继电器等，需要考虑液体对器件工作的影响，如器件的动作灵敏度等，必要时做密封处理。 5、对于有标签或绝缘膜的器件，需要确认材料材质兼容性，避免绝缘膜或标签在冷却液中脱落。 6、芯片选型需要重点关注器件内部材料。 1）当前大部分芯片封装都有通风口（vent），以保障在金属盖子（lid）下的空间压力稳定，采用浸没式液冷方式时，冷却液会浸入到此空间。芯片封装最佳选择为Solde