112G高速互连白皮书

112G高速互连白皮书ODCC-2022-03006 分布式存储技术与产业分析报告 1 [编号ODCC-2022-03006] 112G高速互连白皮书 开放数据中心标准推进委员会 2022-09发布 112G高速互连白皮书ODCC-2022-03006 版权声明 ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。 I 112G高速互连白皮书ODCC-2022-03006 编制说明 本报告在撰写过程中得到了多家单位的大力支持，在此特别感谢以下参编单位和参编人员： 参编单位（排名不分先后）： 中国信息通信研究院（云大所）、腾讯、阿里巴巴、Keysight、锐捷网络、立讯技术、Amphenol、深南电路、中航光电、Credo、H3C、Broadcom、Nvidia、兆龙互联、FIT 参编人员（排名不分先后）： 沈大勇、孙安兵、廖栽宜、吴季元、蒋修国、李智、朱朋、袁双峰、罗振、鲁中原、梁勇、VincentTsai、崔朋、陈亮、程传胜、韩燕、何宗应、胡新毅、李凯、李娜、刘超、刘维纲、SandeepShah、万川、王建、康浩浩、杨光、张灿、汪超、朱峰峰、曾照龙、郝豫鲁、金晓光、杨简、王春霞、王少鹏、孙聪 II 112G高速互连白皮书ODCC-2022-03006 前言 在当前信息技术快速发展的背景下，数据中心做为算力承载的物理实体，其需求是反映人类社会信息化、智能化的持续趋势。为了满足这种强大的数据需求，数据中心网络需要更大的带宽，提升物理层单链路的速率成为一个最重要的提升带宽的方法，这也是推动数据中心网络高速发展的原始动力。随着物理层单链路达到112Gbps,数据中心网络将会在络系统设计、设备整机设计、关键组件设计多个方面面临巨大的信号完整性的挑战。 ODCC网络工作组2021年12月正式启动《112G高速互连白皮书》项目开发工作。项目主要围绕基于112GbpsSerDes下的网络设备高速系统设计、系统测试方案及方法研究、高速互连系统仿真、对新一代系统设备的印刷电路板、高速背板连接器与IO连接器、高速铜缆设计与应用这些方面阐述112G高速系统设计的方法，推动基于112GSerDes的网络设备开发技术上达成广泛一致的设计方法和目标。 III 112G高速互连白皮书ODCC-2022-03006 目录 版权声明I 编制说明II 前言III 一、背景介绍9 二、112G高速互连系统设计10 （一）互连设计方案10 1.高速互连通用形式10 2.板内中短距芯片方案10 3.跨背板长距芯片方案11 （二）芯片到光模块方案11 1.共封装方案CPO11 2.近芯片NPO方案12 3.传统可插拔方案13 （三）高速互连的设计关键14 1.高速通道特性14 2.大电流电源设计16 3.互连成本16 （四）112G收发器（SerDes）16 1.通道损耗对信号的劣化17 2.PAM4、FEC、误码传播19 3.架构特性21 IV 112G高速互连白皮书ODCC-2022-03006 三、112G高速互连系统测试技术21 （一）测试背景与需求解析21 1．测试环境说明23 （二）发射机测试项目25 1.电发射机测试25 2.光发射机测试26 （三）接收机测试项目27 1.电接收机测试27 2.光接收机测试28 3.FEC性能测试29 （四）线缆及PCB背板通道测试项目30 1.无源及有源铜缆（DAC及AEC）测试30 2.PCB背板测试30 四、112G高速互连系统仿真技术31 （一）典型的链路拓扑31 （二）无源仿真32 1.封装仿真32 2.过孔仿真33 3.连接器和线缆仿真35 4.无源链路仿真拓扑36 （三）有源仿真36 （四）仿真结果的评估37 1.无源仿真结果37 V 112G高速互连白皮书ODCC-2022-03006 2.COM仿真结果38 3.PAM4模型仿真结果39 4.光电联合仿真（EOE仿真）40 五、112G高速互连PCB技术41 （一）高速系统PCB技术需求概述41 （二）112G高速互连系统PCB板材需求42 1.PCB板材的玻璃布技术趋势及要求42 2.PCB板材的铜箔技术趋势及要求43 （三）112G高速互连PCB信号完整性要求44 1.信号完整性关键控制点45 2.PCB信号完整性测试建议47 3.PCB关键技术规格设计建议48 六、112G高速互连背板连接器技术49 （一）Backplane/B2B连接器介绍及应用概况49 1.Backplane/B2B连接器简介49 2.Backplane/B2B连接器应用概览50 （二）连接器SI评估条件要求53 （三）连接器SI指标54 （四）连接器机械/电气/环境评估条件要求58 七、112G高速互连IO连接器技术63 （一）112G高速IO连接器介绍及应用概况63 1.112G高速I/O连接器简介63 2.112G高速I/O连接器应用概览64 VI 112G高速互连白皮书ODCC-2022-03006 （二）112G高速I/O连接器接口类型64 （三）112G高速I/O连接器设计65 （四）结构设计（以QSFP112为例）67 （五）电气性能要求68 1.测试方法（以QSFP112为例）68 2.测试报告参考模板（以QSFP112为例）74 3.高速SI规格相关测试方法补充75 八、112G高速互连高速铜缆技术79 （一）高速铜缆介绍及运用概况79 1.高速铜缆简介79 2.高速铜缆运用概况80 （二）112G系列高速铜缆接口类型82 （三）高速铜缆设计83 1.铜缆结构设计83 2.铜缆电路设计83 3.管理界面标准84 （四）高速铜缆的测试和认证87 1.信号完整性测试项目要求及方法87 2.电气可靠性测试要求88 3.机械可靠性测试要求88 4.环境可靠性测试要求89 5.液冷兼容性测试要求89 6.测试报告参考模板90 VII 112G高速互连白皮书ODCC-2022-03006 九、112G高速互连高液冷技术90 （一）浸没式液冷环境下高速传输技术介绍及应用概况90 1.浸没式液冷环境简介及应用概况90 2.浸没式液冷环境对高速传输技术的影响91 （二）浸没式液冷环境下高速连接器及线缆设计91 1.结构设计92 2.SI设计92 （三）浸没式液冷环境下高速无源器件测试和认证97 1.测试项目要求及方法97 2.可靠性测试要求98 VIII 一、背景介绍 数据中心作为新基建的重要“底座”，是助推数字经济发展的重要力量。在国家战略的指引下，推进数据中心产业高质量发展，成为全行业“十四五” 随着人工智能、大数据、分布式存储以及边缘计算等技术的发展及广泛应用，数据中心对高吞吐和大带宽的需求越发迫切，除了需要处理指数级增长的数据量和分布式低延迟处理之外，在超大规模数据中心内，硬件加速器和深度学习功能的集成也正在以更高的功率消耗来获取更高的带宽，对数据中心的建设也带来了更高的挑战和要求。 网络硬件作为数据中心的基础构成，物理层网络链路也应该遵循简单、高可靠以及高性能这一原则来进行设计和应用。以太网速度已经从25G/50G增长到如今的400G/800G，并有望很快达到1.6T。作为超大规模数据中心不可或缺的一部分，交换机支持的带宽从12.8Tb/s、25.6Tb/s增长到如今的51.2Tb/s，芯片将需要512个SerDes通道，每个通道以100Gb/s速度运行。在可提供100G、200G、400G、800G等不同链路带宽的同时，匹配不同IDC部署环境和不同业务需求，带来了物理链路的方案多样性、个性化的需求，这对网络物理链路带来了非常大的挑战。 图1以太网单通道速率的提升&总体速率的提升（EthernetAlliance） 过去30多年间，以太网单通道信号速率从10M到56G，提升了几千倍，使得物理层高速互连设计的难度也越来越大，是网络设备的主要技术难点之一。 随着更高的每通道112Gbps时代的到来，很明显，业内正在面对新的技术解决 9 112G高速互连白皮书ODCC-2022-03006 方案的挑战。本文讨论和介绍可能的系统互连硬件实现方案和设计关键，这些应用方案可能在112G系统开发中得到广泛的应用。 二、112G高速互连系统设计 （一）互连设计方案 1.高速互连通用形式 在一个典型的系统中芯片对芯片、芯片对光模块、光模块对光模块之间的连接，通过连接器、PCB传输线、铜电缆或者光纤互连。这些互连可以是单向的或双向的、光的或电的，并且可以支持一定范围的数据速率，通常他们各自需要满足对应的接口标准。 对于每个互连形式，设计中的考虑因素包括：链路性能、成本、工作温度、可加工可装配性、长期可靠性等。 图2112G可能的高速互连形式 2.板内中短距芯片方案 同一PCB板卡内或子卡上的两个芯片之间互连，是最简单的形式。这种方案的长度相对较短，从50mm到500mm不等，可以包括一个或者多个连接器。 10 112G高速互连白皮书ODCC-2022-03006 图3中短距芯片间互连典型方案模型1图4中短距芯片间互连典型方案模型2 此方案典型的标准参考是CEI-112G-MR-PAM4，最大损耗要求为20dB，推荐的500mm长度是采用PCB布线，可以使用损耗更低的cable来替代，以达到更长的长度。高速通道的设计需要满足com要求，以保证设计裕量足够。FEC后的误码率要求为1e-15或者更好。 3.跨背板长距芯片方案 芯片通过机箱内的背板或者中间板在不同板卡之间进行通信，一般经过的连接器量为1个（如正交方案）和两个（传统背板方案），设计目标长度通常为1m。 图5传统背板方案模型图6正交背板方案 这种方案通常为电气接口，可以遵循的标准为100GBASE-KR1、200GBASE-KR2、400GBASE-KR4和CEI-112G-LR-PAM4，是112G互连系统的最大损耗链路，主要的设计要求：com要求、插入损耗要求、回损要求、差共模转换要求。 （二）芯片到光模块方案 1.共封装方案CPO 这种方案将芯片和光器件封装在一个基板中，共封装的解决方案提供了高质量的信号通道，具有以下主要特点：近距离、非常好的信号完整性、低功耗、 11 112G高速互连白皮书ODCC-2022-03006 低成本、可实现光器件的无DSP方案；更适合多通道、无需解决传统可插拔光模块的散热。当前的缺点是可维护性差，且不利于产业合作。 图7CPO互连方案 图8CPO互连方案布局图 CPO应用可以遵循的标准是OIFCEI-112G-XSR和XSR+协议,设计目标损耗最高10dB（XSR）和13dB（XSR+），bumptobump，传输线差分阻抗为92.5ohm，传输距离推荐为封装基板50mm长度，可以包括一个连接器，通道设计需要满足协议的com指标，误码率目标为FEC后小于10e-15。 图9XSR协议应用模型图10XSR协议应用模型 2.近芯片NPO方案 相对CPO方案的共封装设计，NPO方案的光接口与芯片不在一个封装内，而是放置在离主机芯片非常近的位置，相对传统可插拔方案，仍然实现了近距离，较好的信号完整性、可实现光器件的无DSP方案，相对传统可插拔光模块，可维护性一般。 12 112G高速互连白皮书ODCC-2022-03006 图11NPO互连方案图12NPO互连方案布局图 NPO应用可以遵循的标准是CEI-112G-XSR+和CEI-112G-LINEAR协议,其中CEI-112G-LINEAR设计目标host侧最大损耗7dB，传输线差分阻抗为92.5ohm，可通过封装基板