2023ODCC05006 交换机56G PAM4前端口设计方案研究白皮书

交换机56GPAM4前端口设计方案研究白皮书ODCC-2023-05006 1 [编号ODCC-2023-05006] 交换机56GPAM4前端口设计方案研究白皮书 开放数据中心委员会2023-09发布 交换机56GPAM4前端口设计方案研究白皮书ODCC-2023-05006 版权声明 ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。 I 交换机56GPAM4前端口设计方案研究白皮书ODCC-2023-05006 编写组 项目经理： 刘军篆芯半导体 工作组长： 郭亮中国信息通信研究院 贡献专家： 郭亮中国信息通信研究院 王星篆芯半导体 柳雷篆芯半导体 潘君长沙星融元数据技术有限公司 刘军思科科技（北京）有限公司 张超思科科技（北京）有限公司 蒋星思科科技（北京）有限公司龚传奇东莞立讯技术有限公司 刘继军东莞立讯技术有限公司程伟强中国移动 王瑞雪中国移动 文旭中国电信 包贵新百度 黄一元阿里 陈亮阿里 崔鹏腾讯 孙玉勤京东 陈琤京东 邱子隽快手 II 交换机56GPAM4前端口设计方案研究白皮书ODCC-2023-05006 岳树烨美团 何强英伟达 杨凯浪潮信息 程晓光浪潮信息 吴迅亮浪潮思科 石博文华勤技术 刘彪明华勤技术 III 交换机56GPAM4前端口设计方案研究白皮书ODCC-2023-05006 前言 随着信号速率上升到56G-PAM4，交换机前端口设计，尤其是信号集成，制作工艺等也变得越来越有挑战。相较于上一代基于25G-NRZ的前端口技术，现有技术的信号速率从25G-NRZ上升到 56G-PAM4，前端口在通道密度上也演进出两条技术路线：基于四通 道的QSFP56设计，和基于双密度8通道的QSFP-DD设计。 2016年，QSFP-DDMSA小组开始计划开发QSFP-DD高速接口，之后该国际组织发布了包含图纸在内的QSFP-DD硬件规格的1.0版本。发展至今，QSFP-DDMSA已较为完善，各大领先的光模块厂 商的QSFP-DD光模块先后上市，相较于QSFP高速接口，QSFP-DD的高密度优势使其迅速占领了市场中的重要地位。 目前主流的QSFP-DD高速接口连接器分为插针型和表贴型两种。插针型连接器在制作PCB时，需要给连接器插入接触的通孔保留一定的金属长度，以保证其安装的稳定性。而表贴型连接器的设计不 存在此类问题，在连接过孔的设计上较为灵活。在其生产制作上，表贴型连接器在PCB上的设计制造由于有明显的成本优势而成为行业内的研究重点。 采用4通道连接器的交换机设计既可以平滑升级到56G-PAM4 交换机；也可以平滑升级到下一代112G-PAM4交换机。 本白皮书研究了市场上QSFP-DD正反表贴型连接器的发展现状，对比分析了QSFP-DD高速接口在PCB设计上的多种技术方案，旨 IV 交换机56GPAM4前端口设计方案研究白皮书ODCC-2023-05006 在为交换机设计人员提供较为全面的高速400G连接器贴装法的技术参考。 V 交换机56GPAM4前端口设计方案研究白皮书ODCC-2023-05006 目录 版权声明I 编写组II 前言IV 一、项目背景1 二、项目目标2 三、专用术语2 四、QSFP-DD背对背贴装技术方案综述2 （一）前端口设计技术路线的行业现状2 1.PCB+扣板方案3 2.PCB+Flyovercable方案4 3.插卡方案4 （二）8通道前端口QSFP-DD背对背贴装解决方案5 （三）基于QSFP-DD前端口的PCB设计的相关技术方案分析6 1.插针型方案6 2.表贴方案一7 3.表贴方案二8 4.表贴方案三10 5.表贴方案四11 6.表贴方案五14 （四）前端口为4通道与8通道实现的交换机方案对比15 （五）不同QSFP-DD前端口方案成本对比15 （六）小结16 VI 交换机56GPAM4前端口设计方案研究白皮书ODCC-2023-05006 五、4通道、8通道前端口仿真与测试16 （一）信号完整性仿真17 （二）测试板制作及测试环境20 （三）测试结果22 六、引用的文档和资料23 VII 交换机56GPAM4前端口设计方案研究白皮书ODCC-2023-05006 交换机56GPAM4前端口设计方案研究白皮书 一、项目背景 随着全球数据中心的发展和大规模的部署，数据中心的硬件成本和运营成本大幅度增加，降本增效越来越得到用户的重视。数据中心希望能用更大的带宽实现互联。相较于4通道的高速接口如QSFP56，8通道的QSFP-DD在同样横截面大小的接口上可获得双倍于QSFP56的带宽。 一方面QSFP-DD技术具有低功耗、低延时、易于部署、低成本等优势。例如，原有的4RU128个端口x200G的交换机，通过使用SMT2x1QSFP-DD高速连接器可设计成2RU64个端口x400G的交换机。由于交换机内部所需高速板材，板间连接器以及外部的光模块数目都可以减少，从而降低了交换机的制作和运营成本。 另一方面，在使用QSFP-DD背对背贴装时，其高密度的特性会对PCB连接器处的信号集成设计带来极大的挑战。 目前市场上4通道前端口和8道前端口两种技术路线同时并行 演进。鉴于背对背贴装的8通道前端口技术的成本优势，解决QSFP-DD背对背贴装时连接器处高速信号扇出的技术问题，成为了行业内的研究热点。 1 交换机56GPAM4前端口设计方案研究白皮书ODCC-2023-05006 图1QSFP-DDSMA定义的QSFP在PCB上的足迹引脚 二、项目目标 QSFP-DD背对背贴装技术的设计目标是实现前端口带宽翻番；降低硬件成本，提高运营效率。 三、专用术语 本白皮书使用的专业术语说明： QSFP QuadSmallFormfactorPluggable QSFP-DD QSFP-DoubleDensity SMT SurfaceMountTechnology VIPPO Via-in-PadPlatedOver 四、QSFP-DD背对背贴装技术方案综述 （一）前端口设计技术路线的行业现状 国内互联网企业数据中心在构建数据中心交换机的互联部分，以4通道的前端口为常见，如：QSFP28，QSFP56等。4通道前端口 2 交换机56GPAM4前端口设计方案研究白皮书ODCC-2023-05006 由于在连接器处的扇出实现相比8通道在信号集成上难度相对较低， 易于硬件设计实现。 图2128个4通道前端口的交换机 为实现上图交换机的设计，有多种技术方案可选： 1.PCB+扣板方案 此方案需要4RU高度的机箱，前端口选用4通道连接器，在机器中间设置一张交换主板，然后在其上方和下方各设置一张扣板，扣板与主板之间使用扣板连接器进行连接。该方案的优点是方案成熟、端口散热无风险；可改进之处是C2M链路需要通过一级连接器，信号集成实现有一定难度，且存在扣板连接器选型以及加工可靠性的技术问题。 图3PCB+扣板方案示意图 3 交换机56GPAM4前端口设计方案研究白皮书ODCC-2023-05006 2.PCB+Flyovercable方案 该方案需要4RU高度的机箱，前端口使用4通道连接器，在机器下半部分中部设置一张交换主板，然后通过Flyovercable构建机器上半部分的前端口。该方案线缆无信号集成风险，但整机实现有难度且成本相对较高。 图4PCB+FlyoverCable方案示意图 3.插卡方案 该方案需要4RU高度的机箱，前端口使用4通道连接器，在机器后部中间设置一块交换主板，通过板间正交连接器连接8块子板。每块板上需要有PHY作为高速信号的中继。此方案成熟，架构简单，端口灵活，无技术难点，但相对功耗较大，并且成本高。 4 交换机56GPAM4前端口设计方案研究白皮书ODCC-2023-05006 图5插卡方案示意图 上述数据中心核心设备可选方案在前端口均可使用4通道的连接器实现，在连接器处的高速信号扇出处均不存在信号集成风险。 （二）8通道前端口QSFP-DD背对背贴装解决方案 此方案在实现上述交换机同等带宽时，只需要2RU高度，前端口使用8通道连接器。在机器中间只需设置一块交换主板，主板两端背对背贴装堆叠的QSFP-DD连接器。此方案架构简单、机箱成本最低。其限制在于只能实现8通道前端口的连接器方案。且技术难点在于PCB布线在连接器处的扇出技术难度较大。 图68通道前端口QSFP-DD背对背贴装解决方案 5 交换机56GPAM4前端口设计方案研究白皮书ODCC-2023-05006 （三）基于QSFP-DD前端口的PCB设计的相关技术方案分析 1.插针型方案 该方案可以实现双倍密度QSFP56的走线在连接器处完全扇出，由于该连接器属于插针型连接器，需要在PCB上的特定位置设置特定形状的过孔，且不能对该孔进行信号完整性优化。为保证插针的安全可靠性，需要给过孔保留一段较长深度，其背钻残桩必须满足上述要求。因此其第3层不能作为高速信号的扇出走线层，从而增加了PCB的叠层层数与厚度，为PCB的制作和生产带来挑战并使PCB最终成本上升。 该方案由连接器厂家推出，由于连接器和底板耦合度较高，故 在实际操作中，作为典型参考设计，在国内使用较为普遍。 6 交换机56GPAM4前端口设计方案研究白皮书ODCC-2023-05006 图7：插针型连接器推荐使用的叠层信息 图8：插针型连接器处所有走线扇出叠加示意图 2.表贴方案一 7 交换机56GPAM4前端口设计方案研究白皮书ODCC-2023-05006 该方案通过使用多次层压的高级PCB制作工艺，分别制作PCB叠层的上半层和下半层，通过这种方式制作的上半层的过孔和下半层的过孔在水平方向不存在相互间制作工艺的限制以及信号完整性问题。该方案可以很好的解决QSFP-DD背对背贴装连接器处的高速信号扇出问题，但多次层压会对PCB制作工艺带来挑战从而大幅提高了整个PCB的制作成本。 图9表贴方案一：QSFP-DD背对背贴装顶表面网格示意图 图10表贴方案一：QSFP-DD背对背贴装底表面网格示意图 3.表贴方案二 8 交换机56GPAM4前端口设计方案研究白皮书ODCC-2023-05006 该方案在PCB顶层表面和底层表面分别设置一个或多个盲孔；通过各盲孔扇出分别贴装于PCB的顶层表面和底层表面的两个待贴部件的一个或多个信号线；盲孔的数量和位置根据PCB的顶层表面或底层表面上贴装部件时布线空间的大小进行配置；PCB的顶层表面或底层表面设有将待贴装部件中未通过盲孔扇出的信号线进行扇出的一个或多个过孔。该方案利用盲孔和通孔相结合的方式，解决了在PCB表层，底层相同位置同时安装QSFP-DD连接器时信号线的顺利扇出，并保证了较好的信号完整性。 图11表贴方案二：流程示意图 图12表贴方案二：在顶表面的贴装网格示意图 9 交换机56GPAM4前端口设计方案研究白皮书ODCC-2023-05006 图13表贴方案二：在底表面的贴装网格示意图 4.表贴方案三 该方案分析了QSFP-DD背对背贴装连接器在顶表面和地表面所有信号沿同一方向扇出的缺点，指出需要在顶表面和地表面在不同方向的扇出，同时利用盲孔这种高级PCB技术，实现了在有限空间内同时扇出顶表面信号和底表面信号，该方案可以有效地实QSFP-DD背对背贴装连接器所有高速线的扇出，但是在某些情况下需要给回流地孔也设置盲孔，从而影响到了回流路径和阻抗控制。 图14表贴方案三：焊盘及切面方案示意图 10 交换机56GPAM4前端口设计方案研究白皮书ODCC-2023-05006 5.表贴方案四