基于用户体验的云网质量白皮书（2022年）

基于用户体验的云网质量 白皮书 （2022年） 云计算开源产业联盟云网产业推进方阵 2022年7月 版权声明 本白皮书版权属于云计算开源产业联盟与云网产业推进方阵，并受法律保护。转载、摘编或利用其它方式使用本调查报告文字或者观点的，应注明“来源：云计算开源产业联盟”或“来源：云网产业推进方阵”。违反上述声明者，本联盟将追究其相关法律责任。 前言 云计算已经成为数字经济发展的关键技术底座，在赋能产业转型升级、构建良好数字生态等方面发挥重要支撑作用。近年来，我国云计算产业实现高速发展，市场规模年均增速超30%，全国累计上云企业数量已超330万家。云网协同不断升级，作为多云混合的关键能力正迈向深度应用的新阶段，成为企业用云关键保障和重要支撑，上云企业对云网质量及用户体验的要求越来越高。 为了基于用户对上云网络的需求，满足云内、云间、接入云网络稳定、弹性、灵活、高速的互联互通，加快提升用户云上业务的部署及访问速度，优化用户体验，保障云网质量，促进云网产业协同发展，自2021年起，在中国信息通信研究院的指导和支撑下，云网产业推进方阵发起云网质量保障计划，对在全国范围内定期对云网络开展专项测试和研究。 本白皮书总结了基于用户体验开展云网质量评测的重要性，以及国内外相关体验与网络评测研究现状，分析梳理了云网体验指标体系涵盖的典型上云业务及关键体验和网络性能指标，重点阐述了2021年云网质量保障计划专项评测的相关情况，包括：评测场景、评测方案、评价模型、评测工具、评测结果观察、评测数据分析对比及不足原因剖析，最后结合本次评测给出合理化政策建议，指出定期开展基于用户体验的云网质量保障计划专项评测的重要性。 本白皮书旨在为推进基于用户体验的云网质量评测在国内的发展提供建议和参考，也欢迎各方专家一起加入到相关研究工作中。 参与编写单位 中国信息通信研究院 主要撰稿人 马飞、苏越、赵伟博、陈锐豪、陈晓旭 目录 一、基于用户体验的云网质量概述1 （一）目的与意义1 （二）国内外云网质量评测发展现状2 （三）基于用户体验的云网质量保障计划3 二、2021年云网质量保障计划专项评测4 （一）第一期云网质量保障计划专项评测场景4 （二）评测方案5 （三）评价模型8 （四）评测工具10 三、评测结果观察11 （一）云网体验指数区域得分及排名11 （二）云网体验指数城市得分及排名12 （三）云网体验指数业务得分及排名13 （四）云网体验指数上云场景得分及排名17 四、评测数据分析20 （一）整体情况概述20 （二）不足及原因剖析21 五、未来云网质量保障计划评测展望25 （一）整体规划25 （二）2022年评测工作开展思路26 一、基于用户体验的云网质量概述 （一）目的与意义 2021年，国家发布的《十四五规划和2035年远景目标纲要》中指出“迎接数字时代，激活数据要素潜能，推进网络强国建设，加快建设数字经济、数字社会、数字政府，以数字化转型整体驱动生产方式、生活方式和治理方式变革。”在国家政策的驱动下，企业上云、用云需求快速增长，推动了云网络架构变革。发展数字经济是把握新一轮科技革命和产业变革新机遇的战略选择。 随着互联网技术与服务的发展和创新，以通信为核心的传统网络架构向着以计算和服务为核心的新型网络架构转变，带动了云计算的迅速发展。云计算技术与服务的成熟促进网络服务的演进。基于用户对上云网络的需求，满足云内、云间、接入云网络稳定、弹性、灵活、高速的互联互通，开展对云网络的测试和研究有助于加快提升用户云上业务的部署及访问速度，优化用户体验，保障云网质量，促进云网产业协同发展。 传统的云计算服务指标如数据持久性、数据可迁移性、故障恢复能力等，是从专业运维技术人员的角度出发，反映云服务商对使用其服务的企事业单位关心的指标和条款进行的承诺或说明。一方面，这类指标的变化不能直观的反应运行在云计算基础设施和平台之上的具体应用和业务的体验变化，无法代表企事业单位中使用具体应用的业务人员的实际感受；另一方面，这类指标仅和云计算基础设施相关， 无法面向云网协同反映出网络对业务的影响。而且，传统对网络质量的评测主要由电信运营商从自身网络维护优化的需求出发，以对网络关键性能指标（KPI）的测量为主。但用户体验是涉及到云侧、网络侧和终端侧综合作用的结果，仅针对网络侧的指标测量无法反映云网协同的发展趋势下真实的云网质量。从最终用户的角度测量真实业务的质量，才能获得云网质量的真实感受。 （二）国内外云网质量评测发展现状 在宽带互联网和移动互联网领域，已有很多国内外标准化组织和评测机构开展了大量研究实践和评测活动。 例如国际电信联盟标准化部门(ITU-T)、欧洲电信标准化协会(ETSI)、中国通信标准化协会(CCSA)等，制定了大量关于无线通信网络、宽带承载网络的用户体验(QoE)和服务质量(QoS)基评测的标准化方法论。在国外，多家著名的从事相关业务的评测机构，如P3、Connect、Samknows等，定期面向公众发布的评测结果得到了相关服务商和运营商的高度重视，成为优化业务和网络质量的主要推动力之一。在我国，自2013年“宽带中国”战略实施以及4G/5G移动互联网开展建设以来，在国家工业和信息化部的指导下，均有相关产业联盟组织基于用户体验角度对应用质量和网络性能开展评测，为全面了解我国宽带和移动互联网发展状况，有效评估我国及各地宽带和移动网络发展水平提供了重要参考信息，受到了各界越来越多的关注。 此前在云网协同/融合领域，业界尚未普遍开展基于用户体验的 Benchmark评测，也缺乏被业界普遍认可的统一标准的评测方法论。 为此，在中国信息通信研究院的组织下，云网产业有关单位经过调研、总结、专家研讨等一系列前期工作，目前已形成业界首份云网体验标准体系，为开展基于用户体验的云网质量评测工作奠定了方法论基础。 （三）基于用户体验的云网质量保障计划 2021年，国家发改委、工业和信息化部等相关部门将“新基建”作为国家重要发展战略，加快信息基础设施建设，以联接和计算作为基石，搭建数字经济“新底座”，助推行业数字化转型。国家“十四五”规划提出推进云网协同和算网融合的发展，以网络为桥梁，计算为核心，构建算力、算法、数据、应用资源协同的全国一体化大数据中心体系。一方面，为积极响应与落实“十四五”规划，构筑坚实的网络支撑，国家工信部发起以千兆光网和5G为代表的“双千兆”网络协同发展计划，通过制定年度目标，加快网络基础设施建设与全覆盖，基本实现“千兆到户”的能力，持续提升用户体验，为加速产业数字化发展进程夯实根基。另一方面，国家工业和信息化部制定《新兴数据中心发展三年行动计划》以赋能数字经济发展为目标，推动网络质量提升，保障云网质量，优化云网一体的新型数据中心建设布局，为各领域数字化转型提供有针对性的解决方案。近几年，用云量的持续增长，对网络提出了越来越高的要求。5G应用“扬帆”行动、IPv6流量提升三年专项行动等系列工作致力于提升云网质量，加快数据传输能力，优化用户体验，将云网络作为发展数字经济、推动产业升级的前进动力。 云网质量保障计划是由云网产业推进方阵发起，中国信息通信研 究院支撑，与产业各方共同建设的聚焦云网一体化，提升用户上云业务体验，保障云网产业健康有序发展的专项计划。从用户侧的实际需求和使用感受出发，基于用户体验模型，测量用户云网体验，建立观察机制，形成持续性、常规性的云网质量监测，保障用户的网络质量和服务体验。通过行业调研深挖云网建设与发展现状，研发专业化的质量评测工具，充分量化云网质量。基于用户部署和使用云上业务、应用及网络的端到端关键体验指标（KQI），深入分析网络关键性能指标（KPI），从上云接入体验、云间互联体验等方面保证上云用户可感知的云服务商云网体验综合质量。 二、2021年云网质量保障计划专项评测 （一）第一期云网质量保障计划专项评测场景 在中国信息通信研究院的组织下，结合云网产业推进方阵的企业成员访谈调研，云网质量保障计划第一期专项评测得到了7家云网服 序号 城市 所属区域 序号 城市 所属省份 1 北京 华北 8 深圳 华南 2 天津 华北 9 海口 华南 3 上海 华东 10 武汉 华中 4 杭州 华东 11 长沙 华中 务商的大力支持和积极参与，在全国范围内选取了14个城市开展，城市选取涵盖了我国东、中、西部在内的主要区域。具体城市名单如下： 5 连云港 华东 12 成都 西南 6 厦门 华东 13 重庆 西南 7 广州 华南 14 兰州 西北 本期评测兼顾互联网上云和云专网上云两种场景。其中互联网上云定位为企业上云的低成本基础方案，云专网上云定位为对用户体验和质量有较高要求的保障型方案。为了便于评测结果的分析对比，对来自上述14个城市的7家云网服务商的被测资源同时进行两种场景的测试。各云网服务商提供符合评测配置要求的云池主机，并为互联网上云和云专网上云均提供100Mbps的承诺带宽。 （二）评测方案 本次评测的指标遵循中华人民共和国通信行业标准2020-1370T-YD《基于云网协同的上云业务用户体验质量评价体系第1部分：质量评价方法》，该标准由中国信息通信研究院牵头编制。其中，互联网上云和云专网上云两大场景覆盖的业务，均包括常用的三大类通用型业务桌面云、办公上云、企业通信，以及典型的行业专有应用医疗云业务，通过体验KQI的测量从多维度反映用户的直观体验，同时测量对这些体验KQI产生影响的相关网络KPI作为根因分析的依据。本次云网质量具体评测指标如下： 表1云网质量保障计划评测具体评测指标 指标分类 业务分类 指标名称 量纲 体验KQI 桌面云 操作响应时间 毫秒 办公上云 操作响应时间 毫秒 企业通信 音视频联合质量 MOS(1~5分) 医疗云 操作响应时间 毫秒 网络KPI 所有业务 峰值吞吐量 Mbps 双向时延 毫秒 抖动 毫秒 丢包率 % 桌面云业务：评测用户通过互联网上云或云专网上云访问云网服务商云主机上运行的Windows系统桌面云的业务体验，选择Windows默认的RDP(RemoteDesktopProtocol)远程桌面协议。本次评测将操作响应时间作为重点评测指标，反映用户在远程进行常用桌面云操作 （如打开Office文件并播放或编辑等）时的直观实时体验。该业务操作响应时间定义为用户通过键盘、鼠标进行一个输入操作，到看到桌面云终端更新这个操作对应屏幕变化第一帧画面所需的时间。桌面云业务的操作响应时间主要受客户端到云主机的双向时延和抖动影响，上行和下行的丢包率也会影响到用户体验。 办公上云业务：评测用户通过互联网上云或云专网上云访问部署在云网服务商云主机上的Odoo（OpenSourceERPandCRM）小型开源办公系统的业务体验。本次评测将操作响应时间作为重点评测指标，能够反映用户在远程进行常用ERP/CRM操作（如新建、查询订单数 据，浏览客户数据等）时的直观实时体验。该业务操作响应时间定义为用户通过键盘、鼠标进行一个输入操作，到看到云上办公应用程序完全展示这个操作的对应界面信息所需要的时间。办公上云业务的操作响应时间体验同时受客户端到云主机的吞吐量、双向时延和下行丢包率的影响。 企业通信业务：评测用户通过互联网上云或云专网上云访问部署在云网服务商云主机上的小型音视频会议系统的业务体验。本次评测的企业通信指标包含视频质量、音频质量以及音视频联合质量。其中音视频联合质量的MOS值作为重点评测指标，反映用户使用音视频会议时感受到的画面和声音的综合体验。该指标衡量音视频会议中用户对语音会话和会议画面的综合质量，由视频质量、音频质量和网络因素三部分计算得出，同时受到客户端到云主机的双向时延、抖动和丢包率的影响。 医疗云业务：评测用户通过互联网上云或云专网上云访问部署在云网服务商云主机上的开源PACS（picturearchivingandcommunicationsystem）医疗影像系统的业务体验，这一系统对网络质