2023电信运营商液冷技术白皮书

电信运营商液冷技术白皮书 LiquidCoolingTechnologyWhitepaper （2023年） 中国移动通信集团有限公司中国电信集团有限公司 中国联合网络通信集团有限公司 1 2023年6月 2 前 言 我国数字经济蓬勃发展，AI、智算需求高速增长，新型数智化应用日新月异，高密、高算力等多样性算力基础设施持续发展，推动液冷新需求。同时，在“双碳”宏观形势下，政府部门对数据中心PUE(电能利用效率)监管日益趋严。 液冷技术的出现，改善了传统风冷的散热形式，更能满足高密机柜、芯片级精确制冷、更节能、更节地、噪声低。液冷技术在国内外发展已有十余年，但当前生态不完善，各家产品形态各异，产品规范化程度较低，机柜与服务器深度耦合，尚无统一接口标准，难以标准化、规模化推广应用。推广液冷技术，需要集思广益、凝聚共识，完善液冷产业标准化和生态建设、促进液冷技术有序发展，开辟数据中心液冷行业高质量发展道路。 作为建设网络强国、数字中国、智慧社会的国家队与主力军，中国移动、中国电信、中国联通全面贯彻落实新发展理念，服务新发展格局，凝聚行业合力、发挥规模优势，共同联合产学研用上下游，强化技术攻关，共同推进液冷基础设施侧与主设备侧的解耦，探索机柜与服务器间接口的统一及标准化，旨在构筑技术领先、开放共享、自主可控、成本最优、合作共赢的“新生态”，推进冷板式液冷形成拥有原创技术、接口标准统一、产业生态完善、规模应用的发展态势，推进浸没式液冷形成标准统一化、产品国产化、实施工程化、推广规模化的发展格局，推动建立并完善数据中心液冷技术生态系统，持续降低数据中心能耗强度和碳排放强度，促进经济社会绿色转型，助力尽早实现碳达峰、碳中和目标。 目录 1发展回顾1 1.1面临形势1 1.1.1高密高算力基础设施推动液冷新需求1 1.1.2政府对数据中心能效监管日益趋严1 1.2发展现状2 1.2.1国内外发展历程2 1.2.2当前液冷技术3 1.3业内实践3 1.3.1中国移动3 1.3.2中国电信5 1.3.3中国联通7 1.4产业生态8 1.4.1产业链上游8 1.4.2产业链中游8 1.4.3产业链下游8 1.5发展挑战9 2目标蓝图9 2.1三年愿景9 2.2技术路线10 2.3生态完善11 3技术方案11 3.1冷板式液冷11 3.1.1服务器与机柜解耦11 3.1.2CDU形式13 3.1.3供电模块14 3.1.4冷却液选择14 3.2浸没式液冷16 1 3.2.1系统方案16 2 3.2.2冷却液17 4推进计划19 4.1制定标准19 4.1.1冷板式液冷19 4.1.2单相浸没式液冷19 4.2测试验证19 4.2.1冷板式液冷19 4.2.2单相浸没式液冷19 4.3规模推广19 5展望倡议20 缩略语列表21 参考文献22 1发展回顾 1.1面临形势 高密高算力基础设施推动液冷新需求 1.1.1 我国数字经济正在转向深化应用、规范发展、普惠共享的新阶段。当前，新型应用日新月异，AI、智算纷纷提前布局，高密、高算力等多样性算力基础设施持续发展，作为建设网络强国、数字中国、智慧社会的国家队与主力军，中国移动、中国电信、中国联通积极推动智算等高算力建设，推进人工智能、元宇宙、图形渲染等计算密集型业务发展。计算型节点、AI训练、超算等高算力业务需求持续推升芯片性能、功率与服务器功率不断提高，液冷技术利用液体较高的比热容和换热能力可以支撑更高功率散热，正在逐步成为新型制冷需求。 为促进液冷技术发展推进，国家、地方及行业推出相关政策引导液冷技术落地应用。2021年5月发改委、工信部等部门联合发布的《全国一体化大数据中心协同创新体系算力枢纽实施方案》中要求“推动数据中心采用液冷、机柜模块化、余热回收利用等节能技术模式”。2021年7月工信部《新型数据中心发展三年行动计划（2021-2023年）》要求“加强核心技术研发。鼓励企业加大技术研发投入，开展新型数据中心预制化、液冷等设施层，专用服务器、存储阵列等IT层，总线级超融合网络等网络层的技术研发”。2021年11月发改委《贯彻落实碳达峰碳中和目标要求推动数据中心和5G等新型基础设施绿色高质量发展实施方案》明确“支持采用液冷等方式”。 政府对数据中心能效监管日益趋严 1.1.2 数据中心是数据流接收、处理、存储与转发的“中枢大脑”。为激活数据要素潜能，不断做强做优做大数字经济发展，我国正加快构建新型数据中心基础设施体系。同时，在“双碳”宏观形势下，政府部门近年陆续出台多项文件，对数据中心PUE(电能利用效率)监管要求不断提高、达标时间不断提前。 2021年7月工信部印发《新型数据中心发展三年行动计划（2021-2023年）》 （工信部通信〔2021〕76号），明确“到2023年底，新建大型及以上数据中心PUE降低到1.3以下，严寒寒冷地区力争降低到1.25以内”。2021年11月发改委印发《贯彻落实碳达峰碳中和目标要求推动数据中心和5G等新型基础设施绿色高质量发展实施方案》（发改高技〔2021〕1742号），明确“到2025年，新建大型、超大型数据中心PUE降到1.3以下，国家枢纽节点降至1.25以下。”2022年1月发改委同意启动建设全国一体化算力网络国家枢纽节点的系列复函中明确要求国家算力东、西部枢纽节点数据中心PUE分别控制在1.25、1.2以下。 液冷技术通过冷却液体替代传统空气散热，液体与服务器高效热交换，提高效率，挖潜自然冷源，降低PUE，逐步成为一种新型制冷解决方案。 发展现状 1.21.2 1.2.1国内外发展历程 我国液冷技术起步稍晚于国外，但起步后发展迅速，后期与国外发展进程基本同步，并且在液冷规模试点应用方面积累了丰富经验。 1.2.2当前液冷技术 液冷技术主要包括冷板式液冷、浸没式液冷和喷淋式液冷技术三种。冷板式液冷是服务器芯片等高发热元件的热量通过冷板间接传递给液体进行散热，低发热元件仍通过风冷散热的一种方式。浸没式液冷是服务器完全浸入冷却液中，全部发热元件热量直接传递给冷却液，通过冷却液循环流动或蒸发冷凝相变进行散热的一种方式。其中，冷却液循环流动的方式为单相浸没式液冷，冷却液蒸发冷凝相变的方式为相变浸没式液冷，相变浸没式液冷控制更复杂、要求更高。喷淋式液冷是用冷却液直接喷淋芯片等发热单元，通过对流换热进行散热的一种方式。当前，冷板式液冷、单相浸没式液冷为主要形式。 业内实践 1.31.3 1.3.1中国移动 多年来中国移动持续推动绿色转型，加强节能技术创新，主持或参与编制标准，探索研究液冷技术，开展先行试点应用，后续将进入规模试点新阶段。 （1）标准编制 2018年至今，主持或作为主要单位编制了工业与信息化部、中国通信标准化协会、中国电子学会、开放数据中心标准推进委员会等数十项液冷相关标准，其中参与编制的“《数据中心液冷服务器系统总体技术要求和测试方法》等团体标准6项”荣获2021年度中国通信标准化协会科学技术奖二等奖。2021年作为主要参与单位编制液冷行业首批共5项行业标准，填补了行业空白。 （2）应用实践 针对冷板式液冷与浸没式液冷，主动布局，按步骤、分阶段、积极在数据中心与5G基站等场所开展了液冷系统试点应用，对液冷技术的安全性、稳定性、节能性等进行测试验证。 前期探索阶段，2012年在南方基地开展“数据中心双通道散热关键技术及应用”研究，申请专利94项（其中发明48项,实用新型46项）、设计标准与规范2 项、软件著作权1项、发表论文23篇。目前已稳定运行近10年，年均PUE保 持在1.2以下。 图1中国移动南方基地气液双通道冷板液冷研究和实践 先行试点阶段，2017年在呼和浩特组织热管水冷、两级热管和水冷冷板等三种冷板式液冷测试。2019-2021年在河北、山东组织核心路由器液冷、江苏组织5GBBU浸没式液冷、浙江组织汇聚机房浸没式液冷试点。 图2中国移动呼和浩特冷板式液冷测试 图3中国移动5G基站单相浸没式液冷试点 图4中国移动汇聚机房单相浸没式液冷试点 规模试点阶段，2023年中国移动在呼和浩特数据中心国家发改委绿色节能示范项目以及智算中心项目中启动液冷规模试点。 1.3.2中国电信 中国电信深入开展数据中心绿色低碳化建设，大力推进“要素升级、集成创新”，突出创新发展、低碳发展，积极开展液冷技术研究和试点试用。 （1）技术研究 准确把握技术演进方向，积极开展液冷应用研讨分析。2019年，在贵州进行大容量路由器冷板式液冷研究和测试，采用国产氟化液作为冷却液，室外干冷器为冷源。路由器总功率为18KW，70%板卡器件由冷板式液冷散热，30%器件由风冷散热，经2年跟踪测试，在二次侧液冷系统供液45℃、室外环境15-20℃条件下，液冷运行PUE运行约1.15，项目2021年获得“2021信息通信产业创新贡献奖”（ICT最佳案例）。 （2）试点应用 图5中国电信贵州冷板式液冷路由器试点 在5GBBU站点及数据中心机房积极进行液冷试点应用。 5GBBU液冷系统应用方面，针对5GBBU发热量大、散热难的突出问题，率先开展5GBBU喷淋式液冷降温散热技术研究，并获取了国家发明专利2项。2020年10月启用首个试验点，上线2个液冷机柜，经长期测试，轻负载率条件下PUE值约1.246，满负载率条件下PUE值约1.15。5GBBU服务器试点应用浸没液冷技术，在安徽、浙江、福建、上海、江苏等分批实施，规模化应用部署。 图6中国电信5GBBU机柜液冷试点 数据中心液冷应用方面，在高密度机房开展试点应用。2018年3月，在广州安装冷板式液冷微模块（2列服务器机柜）和风冷微模块各1个，液冷微模块PUE值约1.2，风冷微模块PUE值约1.4，冷板式液冷节能效果明显。2023年计划在京津冀数据中心实施30个液冷服务器机柜；计划在安徽建设3列，每列7台36KW冷板式液冷机柜，预留8台40KW浸没式液冷机柜；在广州开展1个冷板式液冷服务器项目。 图7中国电信广州数据中心冷板式液冷微模块试点 1.3.3中国联通 中国联通根据发展需求和IT设备单机功耗变化特点，积极响应国家绿色、节能、低碳政策要求，主动开展液冷基础理论技术、产品设备、实际使用方面的研究交流，并结合实际进行液冷技术探索与应用。 （1）理论研究 数据中心间接冷板式液冷研究方面，研究不同冷板形式、一次冷却过程热阻分布，以及冷板结构参数、冷却液流量对散热效果影响，总结关键部件主要影响因素，提出设计与运行建议。 数据中心直接浸没式、喷淋式液冷研究方面，研究强化传热方式，分析液冷强化散热的结构设计，如热沉参数对换热性能的影响，研究冷池及喷淋结构设计，总结不同冷却液的物化特性、不同形态的传热性能，提出强化换热设计方案。 服务器芯片发展趋势及液冷技术适用性方面，研究芯片制造工艺与工作温度相互作用，研究不同液冷技术必要性及适应性，为建立“冷却-能耗”模型提供理论基础。 （2）试点应用 数据中心试点应用方面，在德清云数据基地IDC机房高功率机房，安装机柜32架，采用冷板式液冷，进出水温度为15/32℃，2021年6月投产，已稳定运行近两年，制冷效果良好。 BBU集中机房液冷试点应用方面，2021年10月，在郑州开展9台5GBBU设备液冷喷淋测试，配置一套10kW液冷机柜，并同步与风冷测试。风冷机柜PUE为1.448，液冷机柜PUE为1.254。如考虑液冷模式下主设备BBU取消风扇因素，则BBU液冷系统PUE值约为1.16（扣除主设备风扇影响），芯片温度较风冷低10-20度，寿命更长。 产业生态 1.41.4 液冷产业生态涉及产业链上中下游，包括上游的产品零部件提供商、中游的液冷服务器提供商及下游的算力使用者。 产业链上游 1.4.1 上游主要为产品零部件及液冷设备，包括快速接头、CDU、电磁阀、浸没液冷TANK、manifold、冷却液等组件或产品供应商。部分代表厂商有英维克、3M、云酷、竞鼎