Netprobe 数据中心网络链路探测白皮书

Netprobe数据中心网络链路探测白皮书ODCC-2023-06008 1 [编号ODCC-2023-06008] Netprobe数据中心网络链路探测白皮书 开放数据中心委员会2023-09发布 Netprobe数据中心网络链路探测白皮书ODCC-2023-06008 版权声明 ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。 I Netprobe数据中心网络链路探测白皮书ODCC-2023-06008 编写组 项目经理： 赵迎凯北京三快在线科技有限公司工作组长： 岳上腾讯科技（深圳）有限公司 贡献专家： 胡湘涛北京三快在线科技有限公司刘小军北京三快在线科技有限公司杜海峰北京三快在线科技有限公司李岩北京三快在线科技有限公司殷大闪北京三快在线科技有限公司张旭亮北京三快在线科技有限公司许可欣中国信息通信研究院 陈佳吉北京达佳互联科技有限公司王京新华三技术有限公司 II Netprobe数据中心网络链路探测白皮书ODCC-2023-06008 前言 随着全球数字化经济的高速发展，云计算基础设施作为数字化经济的载体，不断为办公数字化、社会数字化到万物数字化提供核心底座。对于一家云公司来讲，基础设施不仅要通过其稳定性、扩展性、高效性为公司业务发展提供支撑。同时，云计算基础设施技术也作为一项核心产品，成为在计算、AI等领域的核心竞争力。 同时，伴随着数字化经济的持续发展，基础设施规模不断扩大。从数据中心体量上来看，服务器规模已经从百台、千台、万台演进到现有的十万级超大规模数据中心。从数据中心数量上来看，为了保证冗余性，以及更贴近用户带来的高效性，数据中心也采用多Region、Region内多AZ的布局方式。然而，在基础设施中网络作为通信的管道，不仅需要解决规模带来的扩展性的问题。业务对于网络稳定性的要求并没有随着网络规模的扩大而降低。恰恰相反，随着数字化在人们工作生活中扮演的角色越来越重要，用户和业务对于网络的稳定性要求是极端苛刻的。如何保证网络可靠性是保证业务具备持续服务能力的关键之一。 为了保证网络持续稳定运行，对于网络节点监控能力，以及故障快速发现、快速自愈能力是本白皮书技术方案的研究重点。Netprobe网络诊断方案是通过实时探测全网所有节点（设备、链路）可用性，通过快速发现故障节点，快速止损的方式，保证业务的持续高效运行。Netprobe主要通过构造探测流的方式，通过解封装和镜像两项网络技术，保证网络节点全覆盖，业务故障快速发现、止损的目标。 III Netprobe数据中心网络链路探测白皮书ODCC-2023-06008 由于时间仓促，水平所限，错误和不足之处在所难免，欢迎各位读者批评指正。如有意见或建议请联系编写组。 IV Netprobe数据中心网络链路探测白皮书ODCC-2023-06008 目录 版权声明I 编写组II 前言III 一、项目背景与目标1 （一）项目背景1 （二）项目目标1 二、相关术语3 三、技术原理4 （一）常用检测技术4 （二）业内检测方案4 1、Pingmesh4 2、NetBouncer5 （三）厂家支持能力6 四、方案介绍8 （一）核心思想8 （二）方案实现8 1、拓扑收集10 2、探测包构建11 3、探测节点发包13 4、采集节点收包14 5、丢包分析18 6、告警、自愈20 V Netprobe数据中心网络链路探测白皮书ODCC-2023-06008 五、下一步工作建议21 六、参考文献22 VI Netprobe数据中心网络链路探测白皮书ODCC-2023-06008 Netprobe数据中心网络链路探测白皮书 一、项目背景与目标 （一）项目背景 在网络环境中，静默丢包和芯片丢包一直是业内的监控难题。当网络中存在静默丢包时，往往会发生业务有感知，监控无告警，定位困难，业务有损时间长的挑战。 在数据中心网络中，现有的超大规模数据中心网络架构大都采用框式解耦、盒式多平面设计理念。而框式解耦之后不仅仅带来了网络集群规模上的突破，同时也将单个机框内芯片互联变成了多个交换机、光模块、线缆互联。超大规模架构下动辄万级网络设备和百万级链路的超大规模集群，出现芯片、链路丢包的概率会大大提高。而多平面、正交的多层CLOS网络拓扑，又会增加故障定位难度，增加故障修复时间。 在骨干网络中，长传资源（陆缆、海缆）质量不可控。经常发生路径切换，长传链路故障等场景。如何做好长传链路时延和稳定性监控也是本项目需要解决的问题之一。 （二）项目目标 设计一套网络监控系统，用于针对静默丢包的场景具备秒级故障发现、故障自愈的能力。监控系统需要具备如下特点： 1 Netprobe数据中心网络链路探测白皮书ODCC-2023-06008 （1）通用性强：网络作为对上层业务服务的系统，underlay层面由各种交换机、芯片厂家组成。上层监控系统设计过程中，要尽可能的屏蔽厂家、芯片的差异。用各款型设备通用的功能进行监控系统开发。 （2）底层轻载、上层灵活：超大规模数据中心DCN底层的underlay网络要求简单高效，监控系统设计的复杂度要上移到控制平台。尽量不去影响DCN底层网络的转发面，探测任务和信息收集任务等要尽可能小的影响网络设备运行。底层简单、上层灵活，是所有网络监控方案设计的基本原则。 （3）稳定、可靠：网络监控系统依托于数据中心网络，负责监控数据中心网络。当数据中心网络异常时，反过来会影响网络监控系统的准确性和可用性。这种依托于网络，监控网络的方案设计过程中，可靠性设计是需要特别关注的点。系统设计必须要尽量保证网络异常下，监控系统的稳定可靠性。 （4）精准、高效：云时代，超大规模的数据中心网络，作为一个复杂的系统，需要为客户提供更加稳定高效的通信服务。而传统的分钟级故障发现和修复的监控手段已经远远不能满足业务对网络稳定性的要求。问题定位精准、高效，秒级的故障发现与恢复是大多数业务对超大规模数据中心网络的诉求，也是一套好的监控系统设计设定的目标。 2 Netprobe数据中心网络链路探测白皮书ODCC-2023-06008 二、相关术语 表1 名称 解释 Netprobe 网络诊断，本方案网络监控系统名称 Anchor 锚点，特指探测流指向的首节点，即被探测的节点 Reflector 反射点，特指数据包发生反射的节点 Sender 探测节点，探测数据包发送的服务器系统 Receiver 采集节点，探测数据包接收的服务器系统 IP-IN-IP 在IP头上封装IP头的技术，多层IP头构建封装技术 Gre GRE隧道技术，用于隧道的创建和解封装 Erspan 镜像技术，用于将探测数据包镜像到收包服务器 检测团 一个Anchor及其关联的所有被探测链路 3 Netprobe数据中心网络链路探测白皮书ODCC-2023-06008 三、技术原理 （一）常用检测技术 （1）镜像技术：交换机端口镜像技术允许管理员将某个或某些端口的数据流量复制到另一个端口，从而能够实时监测网络的流量、行为和性能等方面。通过端口镜像技术，网络运维人员可以对网络数据进行深入分析，帮助识别网络瓶颈、网络攻击、应用性能问题等，提高网络安全性、可靠性和性能等方面。 （2）探测报文构造：探测报文技术指基于业务报文特征构造特殊探测报文，通过跟踪探测报文转发路径得到流量路径的一种技术。该方案一般应用于SDN网络，依托SDN控制器构造特殊探测报文并向转发设备下发配置，沿途转发设备识别探测报文并进行转发，同时将探测报文路径信息上报至控制器，控制器根据手机的路径信息进行整合处理，绘制路径信息. （3）随流检测技术：随流检测技术是一种将流量信息直接封装在数据报文中实现以数据报文为粒度的流量可视技术。当前业界主流的随流检测技术包含INT、In-situOAM、IFA、Inband-OAM等。目前不同的检测技术有不同的厂商代表，在标准化程度上存在差异。针对随流检测技术方案，目前暂没有形成统一的技术规范。 （二）业内检测方案1、Pingmesh 4 Netprobe数据中心网络链路探测白皮书ODCC-2023-06008 Pingmesh监控是微软2015年在SIGCOMM会议上发布的论文《Pingmesh:ALarge-ScaleSystemforDataCenterNetworkLaten cyMeasurementandAnalysis》。旨在通过服务器节点之间的互p ing，构建横纵矩阵的探测拓扑。每台探测的服务器agent既发包又收包，在全量覆盖网络拓扑的同时，针对节点节点之间的网络时延和质量可以得到一个精准的判断。但是我们在使用Pingmesh监控数据中心网络的过程中，经常会遇到Pingmesh监控到了节点之间有网络异常，但是无法快速判断网络异常发生节点的挑战。 图1Pingmesh网络监控矩阵 2、NetBouncer NetBouncer监控首次披露来自微软2019年在NSDI会议上发布的论文《NetBouncer:ActiveDeviceandLinkFailureLocalizationinDataCenterNetworks》。方案通过构建IP-IN-IP封装的数据包，配合交换机IP-IN-IP解封装的能力，保证数据包可以按照 制定的路线完成精准的探测。有效的弥补了Pingmesh监控在快速定位具体节点问题上的挑战。同样的，没有一套监控可以完美的解决所有的问题，NetBouncer同样存在一些挑战，比如ip-in-ip解封 5 Netprobe数据中心网络链路探测白皮书ODCC-2023-06008 装能力好多厂家不支持，在点到点之间存在多条ECMP链路的情况下无法做到精准的链路覆盖。 图2Netbouncer网络探测方案 （三）厂家支持能力 对于网络检测用到的技术，例如IP-IN-IP、MOD、INT等等。越是功能强大的技术，越是要求芯片和交换机的最新代际。而超大规模数据中心组网中，存在大量的芯片代际不同、交换机厂家不同、系统版本不同的情况。这就导致在检测功能支持上面存在着交换机个体的差异性，再加上个别厂家在功能上使用私有协议，在异厂家对接上存在不通用的问题。结果就导致我们很难用最新的网络检测技术去覆盖全网设备。 为保证对全网设备的覆盖能力，本技术方案采用GRE、IP-IN-IP两种封装技术+ERSPAN镜像技术配合进行诊断方案设计。 6 Netprobe数据中心网络链路探测白皮书ODCC-2023-06008 以H3C交换机为例，面向400G组网场景可采用S9825-64D与S9855-48CD8D或S9855-24B8D组合。面向100G组网场景可采用S9820-8C与S6850-56HF组合。面向数据中心最上层的Core和DCI可采用S12500R/CR。以H3C交换机搭建的DCN网络拓扑，在对Netprobe关键技术上达到全系支持。 图3DCN组网交换机搭配 H3C数据中心交换机对Netprobe监控支持能力如下表所示。 表2厂家支持能力表 型号 组网角色 GRE IP-IN-IP ERSPAN（含typeIII） S12500R/CR Core/DCI √ √ √ S9825-64D Spine/Leaf √ √ √ S9820-8C Spine/Leaf √ √ √ S9855-48CD8D ToR √ √ √ S9855-24B8D ToR √ √ √ S6850-56HF ToR √ √ √ 7 Netprobe数据中心网络链路探测白皮书ODCC-2023-06008 四、方案介绍 （一）核心思想 方案采用探测