面向用户体验的业务质量监测技术研究报告

面向用户体验的业务质量监测技术研究报告 中国移动研究院2022年12月 本文介绍了面向业务用户体验开展业务质量、网络质量保障技术研究的应用价值，分析了相关技术发展现状和待解决问题，重点分析基于业务及网络质量推断关键业务体验质量指标的典型方案，旨在为产业在此方面工作提供参考和指引，并对未来面向用户体验开展业务应用与网络协同工作提出建议。 本白皮书的版权归中国移动研究院所有，未经授权，任何单位或个人不得复制或拷贝本建议之部分或全部内容。 摘要2 一、面向用户体验的网络质量优化已成为重要趋势4 二、基于用户端侧数据评估QoE的技术方案5 三、基于网络质量推算QoE的技术方案5 四、中国移动在有线宽带网络中的探索7 五、展望9 参考文献11 一、面向用户体验的网络质量优化已成为重要趋势 随着宽带网络用户规模增长逐步趋向平稳，运营商的网络经营策略已逐步从规模增长向价值运营发展，用户对宽带业务的需求也从关注速率向关注业务体验转变。因此，目前业界都在研究如何以保障用户体验质量（QoE，QualityofExperience）为牵引，实现对业务和网络关键质量指标的有效监测和保障。 文献[1]对用户体验质量、服务质量（QoS，QualityofService，也被称为业务质量）和网络性能（NP，NetworkPerformance）给出定义。用户体验质量是终端用户对一个应用服务的总体可接受度；它取决于终端用户的主观感知，但也依赖于服务本身的特性，受服务质量、网络性能的影响而变化。服务质量是业务服务性能的综合效果，即：服务质量是在业务服务端到端环节中的各个网络功能协同为用户提供服务时，由这些模块的性能表现共同作用后所派生出的结果。而各个网络功能的性能表现就是网络性能，通常用各种网络质量指标（即时延、丢包、抖动等网络质量指标）来进行评价。图1展示了QoE、QoS与NP的关系。 图1QoE、QoS与NP的定义说明 用户体验质量、服务质量虽然受到网络质量变化的影响，但彼此之间是复杂的互相影响关系。本报告介绍和分析以提升用户体验为目标的业务和网络质量指标监测技术方案，为相关研究提供参考。 二、基于用户端侧数据评估QoE的技术方案 互联网应用服务商为提升用户留存度，通过各种技术手段克服网络传输质量的波动对用户体验产生的影响。 互联网应用服务商在提供业务时，往往会提供客户端。在客户端内可方便地收集和计算业务QoE和业务质量指标，同时这些指标也具备最接近用户体验的优势。但因互联网应用服务商自身无法决定用户所处的网络状况，因此在其方案中通过端侧可采集的体验指标、关键网络传输指标设计了适应并应对网络波动的码率自适应算法，取得了良好效果。 文献[2]中，爱奇艺和清华大学合作分析了70万用户所观看 15万个视频所产生的数据，使用客户端采集的分片码率、卡顿时长、卡顿次数、切换码率后预期下载数据量等指标来实时推断在不同可选码率下的用户QoE，通过切换至其中预期QoE值最大的码率来保证在网络波动条件下，仍实现良好的用户体验。该方案在现网应用后，单用户平均观看时长提高2.8分钟。 三、基于网络质量推算QoE的技术方案 第三方业务在运营商网络中流量占比高，网络运营商非常关 注如何通过保证其网络质量，为使用各种业务的用户提供良好的用户体验。 网络运营商评估其用户在使用业务时，由于其无法直接测量用户体验，因此其通常采用的技术方案是，获得各种业务在通过其网络时的网络质量，推算这些业务的业务质量和用户体验。 近年来由于HTTPS和QUIC等端到端加密协议的广泛部署，网络以及服务运营商对于其网络流量的可见性逐渐减弱，基于视频流量和网络协议的特点来对用户体验质量进行侦测在学术界已成为研究热点。目前主流方法是通过从网络数据中提取网络流量数据（数据包到达间隔、包大小、吞吐量等）和传输层（RTT、重传率、乱序率等）QoS指标，使用深度学习或者机器学习算法来推断QoE，取得了不错的效果。 文献[3]中，采集YouTube的HTTPS和QUIC两种传输协议下的吞吐量、每包平均字节数、RTT、重传率、乱序率等QoS指标，采用NaiveBayes、MLPalgorithm、DecisionTable、J48、LMTandRandomForest、AdaBoost和Bagging等算法推算QoE。其中RandomForest效果最好，推算的精确率分别为91.1%（HTTPS）和87.3%（QUIC）。 文献[4]在5G网络下，采集开源播放器goDash中包的平均到达时延、包大小及分布等Qos指标，采用RandomForests(RF),K-NearestNeighbors(KNN)和ArtificialNeuralNetwork(ANN)推算QoE。QoE分为好中差三类。其中ANN的推算效果最好，准 确率达91%。 需要指出是，推测QoE需要大规模可靠数据集的支撑，各类推测模型在不同数据集上的表现具有一定的差异性。目前学术界研究的各种Qos推断QoE算法一般都针对特定数据集开展研究，如文献[5]研究了不同的带宽对QoE推断模型精度的影响：当从22种上升到39种网络环境时，各类机器学习算法（NaiveBayes、OneR、RandomForest）的准确性都会出现不同程度的下降(3%—10%)。由此可见，当面对更加复杂的现实网络环境，QoE推断模型的泛化能力将面临更大挑战。 基于上述技术原理，在互联网上可分段采集家庭网关到接入网元（OLT或BRAS），接入网元到应用服务器间的时延类（如TCP握手时延、RTT数传时延等）、丢包率等指标。结合其他可采集的网络层指标，评估各段网络的网络质量，从而推断用户体验，实现对“上网慢”质差网络环节的检测、定界功能。目前此方案推断QoE的准确率有待进行客观评估，如当网络时延类指标异常时，需对用户体验和业务质量指标的实际被影响程度、用户是否同步感知到“上网慢”的情况，积累更为明确的量化评测数据。 四、中国移动在有线宽带网络中的探索 中国移动在有线宽带网络业务与网络质量运维体系中，尤为注重保障用户业务体验。中国移动已构建形成以业务应用QoE体验指标体系为牵引，基于现网自有终端和设备上的数据，计算、 分析和推测业务与网络质量指标的有线宽带智能化质量监测系统。下面对相关的技术方案进行介绍。 1、互联网电视业务的用户体验与业务质量监测方案 互联网电视业务是中国移动有线宽带的重要自有业务，它要求网络保证高带宽、低时延。针对业界网络抓包分析用户视频卡顿不准确等问题，中国移动提出“用户体验感知+网络质量感知”质量监测方案。 首先，构建以“提升宽带电视业务用户感知”为核心的“互联网电视质量指标体系”。该质量指标体系包括视频播放体验优良率、视频首帧加载时长达标率、视频播放成功率等关键业务质量指标，以及TCP握手时延及重传率、RTP丢包率、WiFi信号等网络质量指标。 其次，以机顶盒的播放器事件直接反应用户感知，突破终端侧实时获取用户感知数据的难题，用户感知贴近率接近100%。平台收到上述数值后，计算获得“互联网电视质量指标体系”中各参数的具体数值。 该指标体系的实现作为端到端网络质差问题发现的“放大镜”，有效发现内容源、城域网、接入网、终端等各环节问题，成为以互联网电视的用户体验为牵引，开展业务与网络质量端到端运维实践的典型案例。 2、有线宽带上网业务的用户体验与业务质量监测方案 有线宽带上网是家庭和企业最基本的互联网业务，为保证用户使用体验，中国移动提出通过监测网络和业务质量，尽可能逼近用户上网体验感知的方案。 该方案包括采集流经相关设备和网元的多类业务（包括网页浏览类、游戏访问类、文件下载上传类）及网络质量数据，并根据这些数据计算用户上网体验。该方案具备准确及时发现用户上网“慢”“断”等问题，可有效降低用户投诉，提高用户上网满意度。 五、展望 为用户提供良好的用户体验，是应用和网络提供方不断追求的目标。随着更多高带宽、高实时类业务和多样化终端的普及，保障应用的良好用户体验面临更多的技术挑战。 本文对保障用户体验的技术方案进行总结。现有的技术方案包括业务提供方通过计算用户QoE，不断调整业务码流；网络运营商通过网络质量指标，推测用户QoE；以及业务提供方与网络运营商相互同步QoE和QoS信息，以优化业务质量保障策略、协同提升业务体验的新方案。 中国移动希望与产业链伙伴一起，共同探索制订更丰富、完备的业务体验与网络质量的监测及保障方案，提升QoE的采集精度、加强业务应用与网络设备的协同，从而更精准、更高效的保障用户业务体验，在用户业务的感知体验提升、质差问题的快速 定位等方面一起取得新突破。 参考文献 [1]ITU-THowtoincreaseQoS/QoEofIP-basedplatform(s)toregionallyagreedstandards，2013 [2]Qiao,Chunyu,JiliangWang,YananWang,YunhaoLiu,andHuTuo. “UnderstandingandImprovingUserEngagementinAdaptiveVideoStreaming," IEEE/ACM29thInternationalSymposiumonQualityofService(IWQOS),1–10.2021. [3]Mazhar,M.Hammad,andZubairShafiq."Real-timevideoqualityofexperiencemonitoringforhttpsandquic,"IEEEINFOCOM2018-IEEEConferenceonComputerCommunications,2018. [4]RazaUlMustafa;DavidMoura;ChristianEsteveRothenberg."Machine LearningApproachtoEstimateVideoQoEofEncryptedDASHTrafficin5GNetworks,"IEEEStatisticalSignalProcessingWorkshop(SSP),2021. [5]IrenaOrsolic;DarioPevec;MirkoSuznjevic;LeaSkorin-Kapov."YouTubeQoE EstimationBasedontheAnalysisofEncryptedNetworkTrafficUsingMachineLearning,"IEEEGlobecomWorkshops(GCWkshps),2016. （作者：王静、李连源、李建坤、陈书炫、陈心昕、陈德威、吴博）