中国移动IT云负载均衡技术白皮书

中国移动IT云负载均衡技术白皮书ODCC-2022-03008 分布式存储技术与产业分析报告 1 [编号ODCC-2022-03008] 中国移动IT云负载均衡技术白皮书 开放数据中心标准推进委员会 2022-09发布 中国移动IT云负载均衡技术白皮书ODCC-2022-03008 版权声明 ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。 I 中国移动IT云负载均衡技术白皮书ODCC-2022-03008 编制说明 本白皮书在撰写过程中得到了多家单位的大力支持，在此特别感谢以下参编单位和参编人员： 参编单位（排名不分先后）： 中国移动通信集团公司、中国信息通信研究院参编人员（排名不分先后）： 程宇、肖爱元、储琴琴、房梽斅、张琦、王瑞雪、倪康康、张久仙、孙聪 II 中国移动IT云负载均衡技术白皮书ODCC-2022-03008 前言 随着中国移动IT云应用服务的高速发展，对于应用负载的需求也日益复杂，现有OpenStack框架下支持的LBaaS能力不足以满足应用侧对负载功能的需求。为了提高移动IT云环境下负载均衡服务能力，简化现有云管平台配置下发流程，采用声明式API方式，能够大大简化现有云管平台负载配置下发的复杂性，同时在云管平台也更容易进行负载功能的灵活定义。 本白皮书将介绍软负载数据平面的技术对比、云平台对接技术介绍、移动 IT云环境下部署方案实现和未来技术的展望。 III 中国移动IT云负载均衡技术白皮书ODCC-2022-03008 目录 版权声明I 编制说明II 前言III 一、背景1 （一）硬件负载均衡器在中国移动IT云的应用1 （二）硬件负载均衡器的局限性2 1.硬件负载均衡的租户业务支撑能力受架构、技术限制2 2.硬件负载均衡定制化开发成本高3 3.应用负载均衡器在中国移动IT云的应用3 二、应用负载均衡器技术原理4 （一）应用负载均衡器数据平面使用的技术4 1.OVS+DPDK技术4 2.SR-IOV技术5 3.OVS+DPDK与SR-IOV技术对比6 （二）应用负载均衡器与云平台对接技术8 1.声明式API对接技术9 2.LBaaS对接技术10 3.LBaaS对接与API对接技术对比11 （三）应用负载均衡器管理平面部署方案11 1.带外管理方式11 2.带内管理方式12 IV 中国移动IT云负载均衡技术白皮书ODCC-2022-03008 3.带外管理与带内管理方案对比12 三、中国移动IT云应用负载均衡器部署方案13 （一）中国移动IT云应用负载均衡器的组网方案13 （二）中国移动IT云应用负载均衡器部署方案14 1.10G网卡服务器vLB部署方案14 2.25G网卡服务器vLB部署方案15 3.网卡部署方案的选择16 （三）vLB高可靠性方案16 四、技术展望17 （一）通过智能网卡卸载HTTPS流量17 （二）支持带外管理20 五、缩略语21 V 中国移动IT云负载均衡技术白皮书ODCC-2022-03008 一、背景 （一）硬件负载均衡器在中国移动IT云的应用 当前，国内云计算处于高速发展期，随着云计算在降本增效、资源配置优化等方面的价值凸显，越来越多的企业纷纷规划和建设了各类云计算数据中心，利用云计算技术支撑和满足IT系统建设。 中国移动IT云区域中心资源池作为私有云，主要面向公司内部IT系统提供基础设施云服务，主要涵盖业务平台、IT支撑系统和其他内部系统。在网络架构设计上采用层次化、模块化的设计方式，可灵活复制规模组网。 业务网络划分为多个POD，每个业务POD独立部署OpenStack模块、控制器和基础转发设备包括SDN接入设备（虚拟交换机、SDN硬件接入交换机）、SDN网关和增值业务网元包括防火墙和负载均衡器等；存储网络单独为一个POD，采用传统组网方式。POD之间通过POD互连层进行互联互通。 图1IT云区域中心资源池节点网络拓扑图 中国移动IT云硬件负载均衡设备被一级云管平台纳管，实现服务自动化部署，通过OpenStackLBaaS插件和一级云管对接，目前已实现原生OpenStackLBaaSv2功能和部分定制功能。租户在一级云管平台自动化开通、配置、维护负载均衡功能；一级云管平台EPC与远端云操作系统EC通过OpenStackAPI进 1 中国移动IT云负载均衡技术白皮书ODCC-2022-03008 行交互；LB厂商提供LBaaS插件，安装在远端云操作系统EC中，LB设备配置由LBaaS插件下发。 图2IT云硬件负载均衡器部署架构图 （二）硬件负载均衡器的局限性 1.硬件负载均衡的租户业务支撑能力受架构、技术限制 目前中国移动IT云采用OpenStackLB模型，基础架构及功能已经标准化，SDN模型无法支持复杂七层逻辑。伴随业务演进所要求的负载均衡资源扩展更灵活、个性化功能越来越多，租户的高级需求难以满足。同时，IT云安全合规要求不断提高，运维管理能力不断完善，亟需IT云按更高的集中化、标准化、业务化、安全可控标准建设负载均衡支撑能力。 表1IT云区域中心硬件负载均衡功能局限性 问题分类 案例分析 负载策略 部分个性化LB功能需求难以全部实现： 全网集中化项目涉及业务迁移上云时，部分功能OpenStack原生、云平台不支持，影响上云进度，如高级LB功能（七层内容改写、SNI、访问控制等）、特殊应用协议（udp,ftp,dns,Radauth,Radacct等）。 业务监控 租户缺少对LB上运行的业务健康状态的感知和性能监控：多省专业务上云后，提出租户界面无法进行租户级业务监控，原生 2 中国移动IT云负载均衡技术白皮书ODCC-2022-03008 Neutron不支持，影响故障定位和运维效率，如业务状态监控（LB、成员状态等）/业务性能监控、可定义的健康探测方法（Http1.0/2.0健康检查、基于网页内容的健康检查、业务分发端口与健康检查端口为不同端口等）。 数据类型 无法灵活支持特殊业务场景： 多省业务需传输视频类或者大文件类，目前架构下多租户共享无法满足不同部署模式，Openstack原生不支持大部分配置变更，只能删除重新下发，如要求支持透明传输或三角传输模式、支持邮件、数据库、ftp文件系统。 2.硬件负载均衡定制化开发成本高 IT云负载均衡功能的定制化开发工作，需要云管平台、远端管理模块、设备原厂多方配合，云管平台、远端模块多技术栈、原厂多个集采厂家的研发能力参差不齐，需求沟通、协调周期长，整体开发、测试成本高，业务满意度低。 3.应用负载均衡器在中国移动IT云的应用 中国移动IT云应用负载均衡器是指部署在一级云管平台的具有负载均衡功能的软件产品，具备可动态迁移，弹性扩容等属性，实现灵活的调度与管理，提升客户网络的灵活性、敏捷性与弹性，能够与IT云管平台协同工作，通过云管平台租户界面，实现应用负载均衡业务的开通和配置。 图3IT云应用负载均衡部署架构 目前通过OpenStack框架对接负载均衡设备存在的局限性，建议新增更灵活的云中心调度服务能力模型，通过云管平台直接管理软件负载，提供L4以上 3 中国移动IT云负载均衡技术白皮书ODCC-2022-03008 负载能力；L4及以下负载能力保持目前OpenStack框架管理模式，实现负载功能的分层管理。 二、应用负载均衡器技术原理 （一）应用负载均衡器数据平面使用的技术 应用负载均衡器采用虚拟交换机部署，虚拟设备的性能会随着宿主机的性能变化，另外宿主机需要进行数据处理，时延也会产生。针对上述问题，提出了DPDK与SR-IOV两种方案，目前两者均用于提高IDC中的网络数据包加速。 1.OVS+DPDK技术 DPDK（DataPlaneDevelopmentKit）是6Wind、Intel开发的一款高性能的数据平面开发工具包。主要解决内核收发包时的一些弊端： （1）中断处理：当网络中大量数据包到来时，会频繁产生中断请求，频繁的中断会产生较高的性能开销，并造成上下文的切换产生时延； （2）内存拷贝：网络数据包到来时，网卡通过DMA等拷贝到内核缓冲区，内核协议栈再从内核空间拷贝到用户态空间，在Linux内核协议栈中，耗时操作甚至占到数据包整个处理流程的50%以上； （3）局部性失效：目前主流处理器都是多个CPU核心，即一个数据包的处理可能跨多个CPU核心，如一个数据包可能中断在CPU0，内核态处理在CPU1，用户态处理在CPU2，跨多个核心容易导致CPU缓存失效，造成局部性失效。 相比Linux内核收发包，DPDK有下面一系列的优势： （1）内核Bypass：通过UIO（UserspaceI/O）旁路数据包，实现用户态数据包收发，减少上下文切换及内存拷贝； 4 中国移动IT云负载均衡技术白皮书ODCC-2022-03008 （2）使用多核编程代替多线程编程：设置CPU的亲和性，将线程和CPU核进行一比一绑定，减少彼此之间调度切换； （3）使用大页内存代替普通内存； （4）采用无锁技术。 OVS（OpenvSwitch）是一款高质量的开源虚拟交换机，运行在Hypervisor中并为虚拟机提供虚拟网络，OVS的转发平面是内核的一部分，导致OVS面临着与Linux收发包相同的问题。 图4OVS和OVS+DPDK技术架构图 基于DPDK的转发路径替换标准的OVS内核转发路径，在主机上创建一个用户空间vSwitch，完全运行在用户空间中从而提高OVS的性能。 2.SR-IOV技术 SR-IOV（SingleRootI/OVirtualization）技术是一种基于硬件的虚拟化解决方案，可提高性能和可伸缩性。SR-IOV标准允许在虚拟机之间共享PCIe （PeripheralComponentInterconnectExpress，快速外设组件互连）设备，并且在硬件设备中实现，可以获得能够与本机性能媲美的I/O性能。 5 中国移动IT云负载均衡技术白皮书ODCC-2022-03008 图5SR-IOV技术架构图 SR-IOV特点如下： （1）性能——从虚拟机环境直接访问硬件； （2）成本——节省的资本和运营开销包括：节能、减少适配器数量、简化布线、减少交换机端口。 3.OVS+DPDK与SR-IOV技术对比 数据中心存在东西向流量与南北向流量，在同一个服务器内的东西向流量，DPDK性能优于SR-IOV。如果流量在服务器内部路由器或交换机，而不是到NIC，SR-IOV没有任何优势；相反，SR-IOV会成为瓶颈，流量路径会变长，网卡资源会被占用。 针对东西向流量，DPDK优化效果更好，下图为东西向流量场景下DPDK与SR-IOV的性能测试数据。 6 中国移动IT云负载均衡技术白皮书ODCC-2022-03008 图6东西向流量场景下DPDK与SR-IOV测试数据 针对南北向流量，SR-IOV优化效果更好，下图为南北向流量场景下DPDK与SR-IOV的性能测试数据。 图7南北向流量场景下DPDK与SR-IOV测试数据 7 中国移动IT云负载均衡技术白皮书ODCC-2022-03008 （二）应用负载均衡器与云平台对接技术 应用负载均衡器作为独立网元，以虚机或软件形式部署在通用服务器上，向管理控制面提供API接口，支持L2-L3的初始化配置下发及L4-L7的业务配置下发。 为了实现软负载初始化配置，采用Cloud-init方式实现，Cloud-init是一个支持多操作系统的软件包，用于处理云主机早期的初始化操作。当系统启动时，Cloud-init可以在云的DataSour