中国联通边缘计算平台v3.0架构升级及创新行业场景应用白皮书

中国联通边缘计算平台v3.0 架构升级及创新行业场景应用白皮书 2022年10月 前言 2022年1月12日，国务院印发“十四五”数字经济发展规划，提出“加快实施‘东数西算’工程，推进云网协同发展”。“东数西算”是助推我国产业升级和经济高质量发展的战略性工程，是产业数字化转型、智能化发展的基石。 边缘计算是三大运营商强化算力统筹、智能调度、推进“云网边端业”协同发展中的重要一环。中国联通充分发挥“一个联通、一体化能力聚合、一体化运营服务”的核心优势，充分利用5G边缘计算低时延、大带宽、大连接、安全可靠的典型特征，以边缘计算为抓手，面向重点垂直行业成立装备制造、智慧矿山、智慧钢铁、服装制造、汽车制造、智慧医疗、智慧法务、智慧应急、智慧交通九大行业军团，为行业用户提供算力、5G移动网络等算网资源，满足用户灵活多样的算网使用需求，实现联通算网产品能力覆盖全国。 中国联通在上述背景下，面向算网一体，以CT+IT融合能力为切入点，基于容器、SDN/NFV等技术，打造具有自主知识产权的中国联通边缘计算平台并不断迭代更新。值此边缘计算平台v3.0发布之际，中国联通发布《边缘计算平台v3.0架构升级及创新行业场景应用白皮书》，重点阐述以下内容：边缘计算平台v3.0是基于Kubernetes结合KubeVirt、Kube-OVN打造的下一代融合型算力基座，实现了边缘算力平台开放解耦，支持异构算力，提升边缘平台竞争力，支撑算网一体，实现算力泛在服务；在边缘组网上采用SDN+NFV+Overlay 的网络架构，通过虚拟云化网关实现组网能力升级，屏蔽现网硬件网络设备在性能、配置、管理上的差异，提升了“云网边端业”灵活协同和网络功能快速上线能力。基于5G边缘计算平台，中国联通对CDN、车联网、工业互联网等重点业务场景开展了创新实践，为行业发展注入了新的活力。 我们期望通过此白皮书的发布，能够与业界同仁共同探讨边缘计算前沿技术，共同推进边缘生态蓬勃发展。欢迎各界同仁提出宝贵意见和建议！ 3 目录 1概述5 1.1背景及行业现状5 1.2中国联通5GMEC演进方向6 2中国联通边缘计算平台V3.0架构及关键技术8 2.1中国联通边缘计算平台V3.0整体架构9 2.2边缘异构算力关键技术10 2.2.1KubeVirt在边缘虚拟机算力上的应用11 2.2.2Kube-OVN在边缘虚拟机网络上的应用12 2.2.3边缘算力虚拟机存储方案13 2.2.4DPU/IPU在边缘计算中的探索15 2.3边缘网络设备虚拟化关键技术16 2.4中国联通边缘计算平台V3.0架构升级带来的变化18 3中国联通边缘算网架构助力创新实践20 3.1边缘CDN创新实践20 3.1.1中国联通基于MEC的CDN基本架构20 3.1.2CDN容器化技术路线21 3.1.3容器化CDN产品实践23 3.2车联网边缘创新实践24 3.2.1中国联通基于MEC的车联网基本架构24 3.2.2车联网场景化产品介绍25 3.2.3车联网场景化产品实践27 3.3工业互联网边缘创新实践29 3.3.1中国联通基于MEC的工业互联网基本架构29 3.3.2工业互联网场景化产品介绍30 3.3.3工业互联网场景化产品实践31 4总结与展望34 1概述 1.1背景及行业现状 2022年1月12日，国务院印发“十四五”数字经济发展规划：加快构建算力、算法、数据、应用资源协同的全国一体化大数据中心体系。在京津冀、长三角、粤港澳大湾区、成渝、贵州、内蒙古、甘肃、宁夏等地区布局全国一体化算力网络枢纽节点，建设数据中心集群，结合应用、产业等发展需求优化数据中心建设布局。加快实施“东数西算”工程，推进云网协同发展，提升数据中心跨网络、跨地域数据交互能力，加强面向特定场景的边缘计算能力，强化算力统筹和智能调度。 工信部相继印发了《工业和信息化部办公厅关于推动工业互联网加快发展的通知》、《工业和信息化部关于推动5G加快发展的通知》等相关政策，鼓励相关单位在边缘计算领域加快技术攻关，针对边缘计算等新型网络联合开展试验测试等工作，加快推动多接入边缘计算等技术在产业中的应用。三大运营商积极响应数字经济发展规划政策指导，将云网融合作为重要战略，通过优化算力资源结构，将高频调用、低时延业务需求分配至边缘数据中心，加快5G边缘组网建设，促进算力和网络下沉到边缘。 中国联通5GMEC，响应“大计算”战略，以构建低时延、大带宽、海量连接、数据安全可控的“边缘计算平台”为核心，推进“云网边端业”产业协同，实施算网融合发展行动计划，打造边缘计算全场景、全业务服务能力，赋能千行百业数字化智能升级。在智慧视频领域，把CDN节点真正下沉到边缘计算节点，大大提高了CDN的就近接入分发能力和本地命中率，为5G时代大流量大视频业务的蓬勃发展 奠定了基础；在车联网领域，中国联通边缘计算平台发挥边端感知数据采集和云端智能决策能力，助力车路协同、智能驾驶发展；在工业互联网领域，中国联通边缘计算平台协同调度计算、存储、网络等资源在工业互联网领域实现企业内各层数据的纵向集成及实时高效处理，充分释放数据价值。 1.2中国联通5GMEC演进方向 中国联通在5GMEC领域起步较早，率先完成MP2接口企标定义，发布边缘计算平台商用版本；2017年，中国联通在MWC世界移动大会上发布了《中国联通边缘计算技术白皮书》，介绍中国联通MEC的部署策略与演进规划；2018年，中国联通在MWC发布《中国联通边缘业务平台架构及产业生态白皮书》，宣布在15个省启动5G边缘计算规模试点；2020年4月，中国联通正式发布全国首张MEC网络，宣布商用。 中国联通5G边缘计算平台由联通智网创新中心负责平台研发，结合实际业务推广和业务应用情况，平台的建设和迭代秉承“源于标准，高于标准”的原则，采用新技术、新框架不断进行平台功能创新。边缘计算平台v1.0版本于2020年随商用发布，参照ETSI架构，由上至下分为中心节点MEAO、省节点MEPM平台、边缘MEP及IaaS三层对MEC进行建设；边缘计算平台v2.0版本基于运营、运维、客户自服务的三个不同视角对MEAO系统进行重构，原来系统一分为三，同时面向边缘生态进行扩展，构建5GMEC沙箱环境，面向内外部渠道及创新平台应用，开放运维营服及产品能力，更好地服务边缘应用；本次白皮书新发布的边缘计算平台v3.0版本基于Kubernetes结合KubeVirt、Kube-OVN打造下一代融合型5G边缘计算基座，实 现边缘算力平台开放解耦、异构算力支持，提升边缘平台竞争力，支撑算网一体,实现算力泛在服务，在边缘组网上采用SDN+NFV+Overlay的网络架构，通过虚拟云化网关实现组网能力升级，屏蔽现网硬件网络设备在性能、配置、管理上的差异，提升了“云网边端业”灵活协同和网络功能快速上线能力，更好地应对边缘场景下网络复杂、算力异构、业务多样带来的挑战。 中国联通边缘计算平台不断迭代更新，未来将在边缘资源的编排、边缘应用迁移、边缘路由管理、边缘流量治理等方面做进一步的研究，致力于将边缘资源的调度和使用达到最优。 2中国联通边缘计算平台v3.0架构及关键技术 自2020年中国联通正式发布全国首张MEC网络并进入商用阶段，中国联通在服务客户产业落地和规模化商用过程中，发现客户对异构算力和复杂组网提出了更高要求，为了更好满足客户需要，边缘计算平台v3.0主要包含以下两个演进方向： （1）边缘算力平台虚拟化技术的演进：随着边缘计算业务的不断开展和推进，边缘应用对算力需求呈现多样化趋势，如图形设计、AI类应用需要能提供高算力的GPU云主机来承担边缘工作负载；数据密集型企业应用需要轻量级且快速启停的容器来承担边缘工作负载。当前边缘计算平台v2.0与IaaS耦合，此架构无法满足业务对异构算力的灵活支持,无法提供安全容器服务，不符合异构算网的发展趋势且能力扩展没有标准可以遵循，不满足算力网络演进要求。如何将虚拟机和容器两者相融合并优势互补，是当前平台需要解决的问题。 （2）边缘组网设备虚拟化技术的演进：边缘业务正值大力推广阶段，对组网需求呈现快速部署和简易运维趋势。当前MEC节点建设和组网过程中，网络设备供应商多、硬件异构且能力受限，设备升级或业务开通时需SDN控制器逐项适配，导致网络维护难度较大、运维效率较低，给后续SDN控制器的维护和升级带来严峻挑战，进一步导致各类边缘组网业务上线较慢、灵活性及拓展性较差，影响“云网边端业”一体协同及边缘通信增强、边缘组网等业务开展。 综上所述，中国联通边缘计算平台v3.0立足当前产业发展的迫切需求，基于前沿技术栈进行算力平台和组网架构的优化升级。 2.1中国联通边缘计算平台v3.0整体架构 为应对边缘场景下网络复杂、算力异构、业务多样带来的挑战，支撑“云网边端业”一体化协同发展，中国联通边缘计算平台从边缘算力和边缘组网两个方面进行系统升级。 边缘算力：面向异构算力网络演进并进行优化升级。 （1）实现MEC平台与IaaS解耦，通过对Kubernetes等编排系统的适配，以及对CPU/GPU等异构算力单元的统一纳管，屏蔽算力多样化影响，实现跨层、跨域一致体验和协同服务。 （2）适配边缘业务对边缘平台敏捷、轻量化需求，通过KubeVirt实现对虚机和容器的统一调度编排，提供良好的弹性资源扩缩能力，支持异构算力环境，支持硬件加速。 （3）进行DPU前沿技术研究，通过对计算、存储、网络处理在 DPU上的卸载，提高虚拟化性能，构建低时延网络。 通过上述算力架构升级，边缘算力平台开放解耦，实现异构算力支持，面向多样化应用提供一致的边缘算力服务，进一步提升了边缘计算融合底座的敏捷和轻量化能力，提升边缘平台竞争力，支撑算网一体,实现算力泛在服务。 边缘组网：采用SDN+NFV+Overlay的网络架构，通过虚拟云化网关实现组网能力升级。 （1）基于云化资源构建云化网关，以软件的方式实现交换机、路由器、防火墙等网络功能，屏蔽现网硬件网络设备在性能、配置、管理上的差异，采用Overlay方案减少对传统转发面数通设备的配置， 确保网络高可用和高性能转发。 （2）云化网关北向对接SDN控制器，实现边缘网络功能快速上线及实现业务灵活开通。在服务访问层面实现边缘分流、云边/边边协同、边缘服务访问、企业专线等全量边缘网络服务场景，提升了“云网边端业”灵活协同和网络功能快速上线能力。 在上述MEC算力平台和MEC组网升级下，形成了如下的MEC 3.0整体架构： 图2-1MEC3.0整体架构 在上述架构支撑下，中国联通边缘计算平台同时提供“边缘能力供给”和“集约支撑服务”，面向算网一体，完善边缘基础能力及运维营服体系。 2.2边缘异构算力关键技术 容器技术凭借其弹性、敏捷、自动化的特性成为目前行业应用部署快速迭代上线的最佳实践，电信行业的基础设施平台向轻量化容器架构进行演进是必然趋势。中国联通5GMEC平台基于Kubernetes结 合KubeVirt、Kube-OVN打造下一代融合型算力基座。 在容器化形态下，所有的服务均以Pod（即1~N个容器）形式存在，但在目前边缘业务推广阶段，企业客户处于技术成熟度和安全的考虑，依然将应用程序运行在虚拟机上，因此，如何提供虚拟机和容器的算力在5G边缘计算环境下共管共存成为急待解决的需求。KubeVirt是RedHat开源的一套以容器方式运行虚拟机的项目，通过Kubernetes来管理虚拟机生命周期，能够实现在统一的控制平面同时管理虚拟机和容器。 2.2.1KubeVirt在边缘虚拟机算力上的应用 中国联通边缘计算底座支持KubeVirt技术栈（技术架构见下图2-2），以容器方式运行虚拟机，利用Kubernetes的CRD（自定义资源）机制增加资源类型VirtualMachineInstance（虚拟机实例），使用容器的ImageRegistry（镜像仓库）去创建虚拟机并提供虚拟机生命周期管理，实现在统一的控制平面