网络云原生演进技术白皮书（2023）

中移智库 中国移动研究院 ChinaMobile CMRI 网络云原生演进技术白皮书 (2023) 中移智库 中国移动通信研究院 编写说明 发布单位： 中移智库 牵头单位： 中国移动通信研究院 中国移动通信集团浙江有限公司 参与单位： 华为技术有限公司中兴通讯股份有限公司浪潮通信技术有限公司新讯数字科技有限公司 爱立信(中国)通信有限公司 上海诺基亚贝尔股份有限公司 新华三技术有限公司 锐捷网络股份有限公司 东方通信股份有限公司 前言 伴随着以5G为代表的新一代通信技术成熟落地，新型业务场景不断涌现， 电信网络面临前所未有的转型压力。在电信网络云化的背景下，以云原生技术为代表的云计算新界面赋予了电信网络灵活、高效特性来应对快速变化的市场。中国移动敏锐把握新技术变革机遇，于2020年11月在中国移动合作伙伴大会上发布了《电信行业云原生白皮书》，梳理电信行业云原生理念、发展现状和应用场景，提出演进参考目标与路线。 近年，在产学研各界同仁的共同努力下，云原生技术理念得到业界的高度关注和广泛认可。为推动网络云走向云原生纵深阶段，本次发布《中国移动网络云原生演进技术白皮书》基于过去的研究成果，结合最新的技术探索验证，对网络 云原生演进方法进行详细解读，并阐述网络云原生推进思路。 目 1电信行业进入云原生阶段 1.1网络云演进历程 1.2网络云原生演进现状. 2网络云原生演进方法， 2.1网元业务云原生演进， 2.2网络云平台云原生演进 2.3管理运维云原生演进， 3网络云原生推进思路 4展望与呼吁缩略语列表参考文献 附录：电信行业云原生案例 音视频网元云案例 (二)电信类云原生PaaS平台案例. 2 3 3 12 14 16 18 19 61 21 (三) 高可靠解决方案 全融合云核心网案例 行业定制化网络案例， 电信云原生平台案例 22 (四) 24 (五) 24 (六) 25 1电信行业进入云原生阶段 1.1网络云演进历程 云原生是近几年云计算领域手可热的话题。目前，无论互联网企业还是传 统企业，都在拥抱云原生。云原生是包含系列技术体系、系统设计理念、组织管理方法的全面系统变革，其核心要素包含基础设施云原生、业务云原生、管理运维云原生，代表技术包含容器、微服务、DevOpS、CI/CD等，其主要目标是支 持各个组织在新型动态环境中快速构建和稳定运行可弹性伸缩的应用。 网络云原生旨在将云原生理念和技术体系作为一种方案应用到网络云中。网 路云原生要求在电信网络设计、开发、部、运维等阶段采用云的思维、云的架构、云的技术，将云的弹性伸缩、快速选代、敏捷运维等原生特性带入到网络中，充分发挥云化优势，实现业务敏捷弹性、资源高效利用、低成本运维、高速率送 代开发等目标。 回顾电信网络演进历程，电信网络经历了从虚拟化到云化的发展历程，正在快速向云原生阶段迈进： ：展拟化阶段：本阶段实现网元软件与底层硬件分离，将网元功能实体从设备 商专属、封团的一体化解决方案中剥离，并以虚拟化软件形式部署在标准化硬件平台及虚拟化平台上。本阶段实现了ICT网络设备硬件的标准化，但网元业务软件架构仍沿袭传统单体、烟肉式方式，存在软件架构灵活性低、系统自动化程度不足等短板。 ：云化阶段：本阶段首先在平台侧实现了各类资源的池化（计算、存储、网络 等），将分布离散的设备统一起来，通过虚拟化软件平台为上层应用提供统一的资源应用接口、并实现资源管理自动化，更好地实现全网范围内的资源共享、按需部署、弹性伸缩和动态编排。其次，本阶段在电信类业务侧较虚拟化阶段完成了控制面与转发面分离、程序与数据分离等优化，网元业务在开发敏捷性、部署灵活性、运行性能等方面获得提升。但该阶段仍存在虚拟层产生额外资源开销、业务赖粒度较大产生资源碎片、业务管理自动化程度低、平台耦合性较强等不足，因此云对业务的价值仅体现在资源自动化管理、 动态编排、按需获得等方面，弹性伸缩、资源共享等方面的优势尚未充分发 挥。 ：云原生阶段：本阶段是网络云演进的目标阶段，白在以容和CI/CT/CD为 基石，以通用PaaS、微服务为内核，以高效能、高稳定、高安全为目标，构建一套完备的电信级云原生技术体系和架构流程，强调基础设施和业务应用的高灵活性、松耦合性、可分层分级部署等特性。 综合来看，电信网络从虚拟化阶段到云化阶段，主要完成了网元业务的云上部署和运行，通过资源池化解决了IDC时代运维、部署、扩缩容等难题，但仍未能充分发挥云的优势。随着电信网络的演进逐步进入云原生阶段，需要考虑如 何将基础设施和网元业务融合，从业务的角度探索如何更好的适应云上生长，从云基础设施平台的角度探索和丰富业务全生命周期的支撑能力，最终充分释放云的红利。 1.2网络云原生演进现状 目前，国内外运营商、设备商均已向云原生阶段演进，并开展网络云原生相关技术的研究、实现、验证与落地推广。国内运营商已完成网元虚拟化，逐步在网络云的网管资源池或少量边缘资源池中引入容器基础设施环境，并同步展开网管业务、增值类网元、核心网业务的微服务化试点验证。以中国移动为例，已开展网管资源池容器试点、网元无损升级功能验证，并自研自动化集成验证交付工具AUTO在全网商用，整体可实现硬集配置和云平台部署效率提升3倍、验收 测试效率提升10倍以上，北美、欧洲、业太等主要运营商也纷纷在核心网等领 域引入容器、PaaS、微服务等云原生技术与理念，其中较为典型的是美国运营商Verizon2022年启动基于云原生的5GSA网络试运行，以及美国卫星电视运营商Dish联手AWS及诺基亚完成5G核心网公有云部署。以华为、中兴、爱立信、 诺基亚、新讯等公司为主的国内外设备商已具备成熟度各异的容器平台、微服务 化5GC及其他云原生产品，并用于支撑核心网、边缘计算等场景建设。 除技术研究与现网推进外，云原生领域的标准化与开源工作也有明显进展， 在标准方面，截止2023年QI，ETSI严格继承ETSINFV架构，以NFV容器增 强架构为核心，初步完成容器、容器集群、容器网元相关管理类功能及接口标准， 具体包括云原生网元实现分类标准（EVE011）、面向云原生容器和PaaS的增强NFV架构研究报告（IFA029）、容器网元管理VNFD及VNF包规范（IFA011)、MANO管理容器集群的需求标准（IFA036）、容器管理及编排需求（IFA040） 等，并正在启动容器、容器集群、容器安全等方案流程标准制定；ITU已完成容 器功能需求（ITU-TY.3535）、跨云容器管理架构与需求（ITU-TY.3528）、服 务于云原生应用的PaaS功能需求（ITU-TY.3532）等标准，正在推动服务于云 原生应用的PaaS管理框架标准；CCSA当前已完成面向网络云的容器功能要求 及接口要求、电信云原生PaaS功能要求等行业标准，电信网络云原生总体架构、网元云原生设计与管理原则等标准正在推进中。在开源方面，ONAP、Anuket、XGVela、Nephio、Sylva等项目分别从云原生网元编排、容器及虚拟机基础设施 平台、电信PaaS平台、容器化网元及基础设施自动管理等领域切入，探索网络 云原生开源参考实现。 2网络云原生演进方法 业务快速创新通常是企业（特别是I企业）的核心竞争力，也是众多企业 引入云原生的核心诉求。通过依赖云原生构建高度敏捷的业务体系、资源灵活的云平台系统、高效自动的运维管理机制，可实现业务快速交付和持续选代，从而支撑企业快速创新和业务持续增长。 对于电信行业而言，业务高稳是核心诉求：网络云面向用户提供基础通信服 务，需保证系统99.999%电信级可靠性、业务全程高可用不中断；运营商采买多 设备商多类型产品（如硬件、云平台、网元等），需保证产品标准规范化、NFV系统各层灵活衔接、网元业务可漫游互通：电信网络属于关键基础设施，需保证版本入网、系统维护、业务运行等流程环节的强安全性。 因此，考虑网络云核心诉求及上述特点与IT行业存在较大差异，电信行业 需结合自身特点因地制宜按需引入云原生2.1网元业务云原生演进 随着5G的成熟落地和新兴业务场景的不断涌现，电信网络展现出对灵活、 高效、可靠、可扩展解决方案的强烈需求，渴望通过敏捷的业务能力来应对快速变化的市场，通过强大的创新能力来形成差异化竞争优势。 面对上述发展趋势，传统网元业务的租颗粒度、烟图式案构存在耦合性高、天活性低等问题（例如无法做到业务局部模块的升级或替换而不影响业务整体服务等），无法满是业务敏捷、快速创新的需求，阻碍业务软件的送代，不利于电信行业的长远发展。因此，建议网络云参考IT行业选用微服务架构对网元业务 进行重构，将传统颗粒度较大的网元业务进一步合理拆分为多个功能内聚、可协同复用、可灵活扩展的微服务模块，保证各微服务模块间可独立开发、测试、部署、运维，模块之间通过RestfulAPI、RPC或消息队列等通信，从而实现业务 模块的松耦合与灵活性。 当前，在NFV/SDN及5G背景下引入微服务架构并非简单的业务重构，存在较多矛盾。例如，3GPP已完整定义了5G服务化架构及逻辑网元类型、功能、 接口，实现微服务后，网元业务模块及接口数量将出现N倍增长，软件规模和 系统复杂度随之急剧增加，大幅提升了运维管理的工作量和复杂度；CT软件相比IT软件有更高的性能要求，微服务模块间的消息交互，增加了通信节点的规模和模块间消息量，带来通信时延和吞吐量损耗：NFV/SDN分层解耦架构客观增加了系统整体可靠性的维护难度，网元业务微服务化存在增加故障点、增大故障排查难度的风险。因此，电信网络在引入微服务架构时，需要规避照本宣科式的引入，其业务设计原则和管理要求需综合考虑业务现状、性能要求、管理运维 复杂度等多方面因素，并同步对基础设施平台、管理运维体系等协同升级，在发 挥微服务优势的基础上尽可能减少上述矛盾，确保有的放失。2.1.1网元微服务设计基本原则 网元业务引入微服务架构时，在保证架构稳定、网元功能完备的基础上，建议遵循以下基本原则： ：业务与平台分层原则 微服务以网元业务为中心，一个或一组微服务代表特定的网元业务逻辑功能，强调提供可靠网络服务、快速响应第三方业务需求。平台强调支撑保障能力，为网元业务提供稳定的运行环境和丰富的公共服务，可极大降低网元业务全生命周 4 期管理复杂度。业务与平台的侧重点有所不同，通过业务与平台分层解耦推动云原生业务“一次构建、随处运行”，以便实现业务灵活部署迁移， ：单一职贵原则 要求网元业务微服务功能相对单一，能策焦于特定的功能职责。对于部分网元业务或网元业务模块，虽然规模敦大，但业务边界清断、功能内聚度高，则无需强制进行微服务拆分。 从电信网络整体来看，5G服务化架构已基本实现核心网业务的微服务设计， SMF、AMF等网元均已具备标准化定义的功能，且相互之间基于HTTP2协议采 协议复杂的问题，可进一步遵循微服务单一职责原则更新设计。 从单个网元业务来看，传统网元业务大多已采用分布式架构将业务分为接口通信模块、业务处理模块、业务管理模块，但整体微服务拆解粒度较租，可进一步拨业务逻辑功能细化。以SMF网元为例，其业务处理模块可细分为会话管理、策略控制、网络切片、HTTP信令处理等多个微服务。当前单个网元的微服务设计并无标准，可由各运营商、设备商根据组织架构、业务需求等自主进行微服务职责划分和设计开发，后续可结合应用场景逐步固化网元微服务，并形成相关标 准。 ·无状态原则 将业务处理逻辑与数据相分离，把有状态的业务微服务变为无状态的计算类微服务，状态数据存储到数据服务中，使业务微服务实例在迁移、动态伸缩、故障恢复等场景下不再考虑数据问步的间题，可大幅度提高管理效率。 当前，网元设计已不同程度考虑了无状态化设计。以4G、5G核心网为例， 用户签约数据已被集中到HSS、UDM/UDR等网元进行专门管理：网元内部也已 将业务上下文等数据存储在独立的数据模块中。但此类无状态设计仍不系统、不完善，部分网元甚至无法彻底消除状态（如因高性能要