框式开放自研交换机技术实现与应用场景白皮书

框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004 分布式存储技术与产业分析报告 1 [编号ODCC-2022-03004] 框式开放自研交换机技术实现与应用场景白皮书 开放数据中心标准推进委员会 2022-09发布 框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004 版权声明 ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。 I 框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004 编制说明 本白皮书在撰写过程中得到了多家单位的大力支持，在此特别感谢以下参编单位和参编人员： 参编单位（排名不分先后）： 中国信息通信研究院（云大所）、百度、思科公司、中国电信集团有限公 司 参编人员（排名不分先后）： 王少鹏、孙聪、包贵新、蒋星、李婷婷、张超、王维 II 框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004 目录 版权声明I 编制说明II 一、引言1 二、项目背景2 三、项目目标3 四、专用术语3 五、框式开放交换机方案论证4 （一）白盒交换机的行业现状4 （二）框式交换机迎接开放生态5 （三）厂商产品支持SONIC实现介绍6 1.Cisco框式交换机6 2.Nokia&Arista框式交换机12 （四）DCICLOS架构方案16 1．组网场景用法举例16 （五）框式开放交换机的扩展–DDC方案17 1.组网基本分析18 2.DDC技术概要19 3.DDC芯片说明20 4.DDC组网结构21 5.DDCCell交换原理22 （六）DCICLOS与DDC方案对比24 III 框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004 （七）论证结论24 六、框式开放自研交换机产品研发24 （一）设备OS功能需求24 （二）SONiC社区对多芯片分布式转发架构的支持情况28 七、引用的文档和资料31 八、致谢31 IV 框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004 一、引言 2015年3月举行的OCP（OpenComputeProject，开放计算项目）峰会上，微软向OCP贡献了SAI（SwitchAbstractionInterface，交换机抽象接口）。当年7月，OCP正式接纳了SAI。2016年3月9日，微软在这届OCP峰会上，正式发布了SONiC(SoftwareforOpenNetworkingintheCloud)。SONiC的所有软件功能模块都是开源的，推动了OCP社区以及其他厂商在开放网络方面的创新。 自此之后，SONiC逐渐成为了互联网行业超大规模数据中心网络首选的开源操作系统。交换机抽象接口(SAI)在使SONiC适应各种底层硬件方面发挥了重要作用。SAI为ASIC提供一致的接口，允许网络供应商在其平台上快速启用SONiC，同时通过供应商特定的扩展在硅和光学领域进行创新。这使云规模的提供商能够拥有一个通用的运营模式，同时从硬件创新中受益。下图说明了SONiC软件系统的逻辑结构。 图1SONIC软件系统结构 随着SONiC的发展和技术迭代演进，SONiC从最初在具有BGP、SwSS（交换机状态服务）容器的单一实例在设备上单个NPU系统上支持，已经逐渐扩展为支持设备上多个NPU系统上支持。这是通过运行BGP、Syncd和其他相关容器的多个实例来实现的，每个NPU独立运行一个实例。 1 框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004 SONiC软件系统在单芯片设备获得大规模部署之后，行业内对SONiC在框式大型设备上也进行了大量的探索和实现，其中包括Microsoft、Broadcom、Cisco、Nokia、Arista、Baidu等国内外公司。本文的目标就是阐述一下SONiC软件系统在框式大型设备上的技术实现和部署场景，在本文的撰写过程中，Cisco、Nokia、Arista都提供了部分内容，并参与了评审工作。 二、项目背景 SONIC在全球数据中心场景中已经进行了广泛的、大规模的部署，也给用户带来了低成本、高效率、自主可控的使用体验和收益。 随着接入服务器的技术演进和规模发展，数据中心内部的网络架构从单平面演进到了多平面，服务器网卡的接入速率从25G演进到了50G、100G和200G，400G网卡也陆续发布，网卡速率的高速发展也推动了数据中心互联速率从100G演进到200G/400G的高速互联方案。 数据中心内部的架构规模和速率的快速演进，也直接推动了城域网和骨干网的架构变革，数据中心内小型化盒式单芯片多平面的网络架构随着芯片技术的发展，对上级互联的城域网架构带来了很大的挑战： 运维管理。架构简化，设备数量低，逻辑简单，这些都是运维管理希望的网络架构特点。 扩展能力。DCI的架构升级迭代困难，需要有更灵活的组网方案，更易扩展，更易维护。 多速率端口支持。DCI以机房作为接入点，生命周期较长一般随着机房新建一直到下线，需要维护多代不同技术的数据中心架构，如果无缝扩展是一个非常重要的能力。 2 框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004 自主可控，统一运维和自动化能力。随着开放系统在客户数据中心网络的大规模部署，开放操作系统例如Sonic已经广泛使用。DCI交换机也有很大的自主可控及通过统一网络操作系统进行运维和自动化的诉求。 图2式开放自研交换机部署场景 框式开放自研交换机的优势：组网灵活，架构设备数量少，拓扑简单；单设备端口密度大，按板卡灵活按需扩容，无缝演进；运维简单，统一操作系统。 三、项目目标 框式开放自研交换机项目的规划目标：降低DCI网络架构拓扑复杂度，简化拓扑；提高运维效率，降低Opex成本，统一操作系统；架构技术演进平滑迭代，无缝迁移，自主可控。 四、专用术语 如下是本文档涉及的专业术语说明： ASN Autonomoussystemnumber，BGP的自制系统号 BGP BorderGatewayProtocol ISIS IntermediatesystemtoIntermediatesystem协议，IGP路由协议 RC RegionalCore区域核心 RR Routereflector路由反射器，用于IBGP环境 SC supercore，超核角色 VOQ virtualoutputqueue 3 框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004 五、框式开放交换机方案论证 （一）白盒交换机的行业现状 如前所述，SONiC是微软发布的开源交换机操作系统，也是一个成熟的SDN软件平台，实现了数据控制面与转发面的分离，用户可以采购白牌交换机搭载SONiC实现不同的网络功能，SONiC使得用户能够更快的调试、修复并测试软件，通过改变软件策略和拓扑实现新的网络架构，让网络实践更为灵活。 截止目前，SONIC软件系统已经被国内外大型互联网公司的生产网络上大规模部署运行，其中绝大多数场景在数据中心内部的单芯片盒式交换机上： 图3SoniconSingleASIC 与此同时，SONIC软件系统的扩展应用场景需求也陆续出现，其中一个是SONIC运行在多芯片的交换机设备上： 图4SoniconMultipleASICs 4 框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004 另一个扩展场景是SONIC运行在模块化的大型框式交换机设备上： 图5SoniconModularChassis 通过从数据中心内的DCN场景部署，扩展延伸到数据中心互联的DCI场景部署，SONiC软件系统通过全面覆盖可以提供统一化运维、快速故障响应等用户体验，同时代码开源的特点也让使用者们的创新想法和方案可以快速实现。 （二）框式交换机迎接开放生态 SONiC单芯片设备 设计简单-平台具有单个ASIC，无交换矩阵，无线卡，没有具有多个ASIC的线卡，硬件组件之间没有相互通信，即ASIC到ASIC或LCASIC到SFASIC到LCASIC，如下图所示： 图6SONIC单芯片设备 5 框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004 SONiC机框设备 机箱/设备管理器-用于管理硬件组件的软件–ASIC（低级别，即启动）线卡、风扇、psu、交换矩阵、内部通信总线、前面板管理接口。 多线卡和ASIC支持-使SONiC能够与线卡上的多个ASIC和机箱中的线卡一起运行。多交换机结构和交换机结构ASIC支持机箱内SONiC实例之间的相互通信机制，即FIB传播到线卡ASIC。系统ASIC内的可追溯性，即LCASIC到SFASIC到LCASIC，如下图所示： 图7SONIC机框设备 （三）厂商产品支持SONIC实现介绍 1.Cisco框式交换机 图8CISCOSiliconONEBasedFamily 6 框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004 Cisco8000上的SONiC 作为思科与OCP社区持续合作的一部分，思科现在已经在盒式和模块化Cisco8000系列路由器上支持SONiC。在模块化平台上对SONiC的支持标志着模块化路由系统以完全分布式的方式支持SONiC的一个重要里程碑。接下来，我们将了解基于机箱的路由器的详细信息以及SONiC如何在Cisco8000模块化系统上运行。 在介绍模块化的Cisco8000运行SONiC之前，我们先更深入地了解CiscoSiliconOne芯片族以及Cisco8000模块化系统。 思科用22个月制造11款芯片，快速迭代，使用一个架构，涵盖多种场景和用途。思科倾听客户的需求并从零开始打造了全新的SiliconOne统一架构芯片，可以同时提供与路由器芯片相媲美的能力与灵活性，和与交换机芯片媲美的性能与能效比。SiliconOne包含3.2T到25.6T多种容量的路由器和数据中心芯片家族，从第一天开始就充分考虑能够同时兼顾商业网络操作系统与各种网络开源操作系统。全线芯片采用统一的P4转发代码，统一SDK和一致的开源SAI接口，从而帮助客户与合作伙伴实现一次开发、处处使用，这大大的减少了开放网络的功能开发与测试的工作量，加速网络创新的实现。 图9CISCOSiliconONE 7 框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004 思科基于SiliconOne芯片打造了高性能、高能效比的开放网络系统C8000系统。该系统充分考虑到未来网络发展对性能、可编程性、节能环保等需求，提供了从单芯片盒式路由器到大容量框式设备，以及开放解耦CLOSFabric等多种系统形态。特别值得指出的是该系统带来的超高能效比，大幅度地降低每比特的功耗，助力碳达峰碳中和的早日实现。 图10CISCOSiliconONE框式交换机 Cisco8000模块化系统架构 Cisco8000的模块化系统具有以下关键组件：1)一个或两个路由器处理器 2)多个板卡 3)多个矩阵卡 4)机箱公用部件，例如风扇、电源单元等。下图说明了RP、LC和FC组件，以及它们的连接性。 8 框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004 图11框式交换机逻辑结构（CISCO’sexample） 板卡上的NPU和机箱内的矩阵卡连接在一个CLOS网络中。每个板卡上的NPU由对应板卡上的CPU管理，所有Fabric卡上的NPU由RP卡上的CPU管理。板卡和矩阵NPU通过背板连接。所