2022数字产品质量现状报告

数现字状产报品告质量 2022数字产品质量现状报告|2 目录 03概要 05方法论 06功能测试 15无障碍性测试 22本地化测试 30用户旅程测试 34支付测试 40总论 做到尽善尽美。 要取想得在成数功，字就世必界须 持续引领市场的各大品牌不仅赢得狂热好评，还牢牢抓住客户的钱包和“芳心”，并能坚持不懈地追求卓越。这意味着什么呢？ 最佳数字体验可以实现： •使用简便的界面 •跨设备与渠道的无缝化体验 •用户看重的性能和功能 1 产品是否有效由谁说了算？不是品牌，而是终端用户。2021年，用户在手机APP上的花费超过了1,330亿美金，相比2020年增加了20%。APP排名靠前可以增加下载量，创造更多收益，这已经不是什么秘密。但单单让人去下载APP或购买产品还不够。在我们生活的这个世界，35.5%的用户在用过一次APP后就不再使用，无论什么行业，30天的 APP持续使用率不到10%，63%的用户因体验不佳而放弃使用某个品牌。 2,3,4 维持强有力的客户关系和参与度少不了对于质量的不懈承诺，听起来像是一项无法完成的任务，因为如今市场上的新兴平台、设备、支付方式和技术层出不穷。随着加密货币、人工智能、虚拟与增强现实在数字领域愈发根深蒂固，品牌就要从复杂的新维度来全面测试用户体验，包括元宇宙在内。 品牌只有将质量视为可持续发展机会而不固步自封才能立于不败之地。在创新，直观用户体验和无缝化用户旅程方面投入的企业，通常在几个月后就能产生不错的回报。这些企业报道称市场份额上升，上市时间加快，用户留存率和满意度增加，平均销售额提高，以及一大堆与收益相关的其它好处。 无论什么行业，客户期望高，竞争又激烈，意味着公司无力承担哪怕是最细小的差错，客户不会容忍任何不及预期的事情。要想成功，品牌必须全面检测用户体验。数字策略需要囊括大局观，以及识别哪怕是最微小的 细节问题。Bug会吞噬产品卓越的根基。用户体验当中出现的每一个错误，系统崩溃和功能缺陷都会降低客户的喜悦度，最终侵蚀公司盈利。那么要如何开始优化数字质量？ Applause是全球赋能数字质量的行业领导者，通过分析测试数据中的代表性样本，发现数字体验中最常见的缺陷，并就如何避免这类缺陷的产生提供建议。我们着眼于全球范围内13,000多个移动设备，1,000个独特桌面和500个操作系统版本的用户体验，借此评估各种不同组合的网络，浏览器，支付工具和界面。 在过去的15年，Applause已然在数字质量领域取得了轰动性的先锋地位。与跨行业、区域、语言、应用程序类型和技术成熟度的各大公司合作，连同广泛深入的平台数据，让我们拥有得天独厚的条件来评估数字质量现状。 这是我们的经验之谈。 2022数字产品质量现状报告|3 12“三20大21应，用户程在序应留用客程策序略上：留花住费应了1用3程30序亿用美户元的；终应极用指程南序。商”店C(AriptepoS，t2o0re2)0的收入高于GooglePlay。”FilipeEsposito，2021年12月7日。 34“8260%21的移消动费应者用会趋在势两：应次用糟程糕序的性客能户的体全验球后基离准开。他”们Ad曾ju经st信，任20的21品。牌。”商业电讯，2022年2月2日。 2022数字产品质量现状报告|4 亮点 加快产品发行速度，增加直观用户体验，优化创新，提升收益。当企业在软件开发全程中开始注重测试左移策略和产品质量，而非将其限定为软件发行前必须要过的最后一道门槛，这些目标就更加可以实现。持续改进质量不仅能节省成本，加快产品发行速度，还能增加客户满意度和留存率。 每项数字体验都需要全面的功能测试。 在维护质量的同时不牺牲速度和覆盖范围一直困扰着许多企业。持续打造卓越的数字体验需要不间断地关注细节，以及围绕客户需求和喜好的全面测试计划。经常是公司开发出来的与客户真正想要且喜爱的存在差距。测试自动化，手动功能测试，结构化测试用例和探索性测试在评估数字体验方面举足轻重。依赖于有限测试模式的团队无法确保优质的用户体验。 无障碍性不仅是一个关于合规的可选项。 对于前沿公司，包容性日益成为追求差异化 的关键，相比只在软件发行前进行可行性审计，全球的技术领军企业将测试左移，更早地注重包容性设计。有经验的企业意识到无障碍体验可以更好地服务全体客户，进而为公司带来更多的价值，并努力朝着这个方向更上一层楼。 本地化不仅是翻译。 优质的本地化服务带来个性化的，贴合文化的用户体验。企业重视打造本地化数字体验，以求与目标社区产生共鸣，从而为成功且赢利的软件发行铺平道路。 用户旅程必须无缝跟踪所有设备和位置。 了解终端用户体验比以往更重要。找出并消除用户旅程中的摩擦源头，所需的技术通常是许多软件开发及QA团队在实验室无法解决的，尤其是用户旅程常常会融合数字和实体体验。 利用真实的在线支付工具进行测试，是确保每个客户成功交易的唯一方式。 全新的可选支付方式、数字钱包、加密货 币、先买后付（BNPL）等新兴趋势让支付变得复杂多样。利用真实的支付工具进行测试，是确保支付体验对客户和自家公司每次均能奏效的唯一方式。 方法论 我们从2021年1月1日至2021年12月31日期间所创建的已完结测试周期中的代表性样本中分析结果。测试周期让Applause确保每套测试的唯一性：客户就要测试什么给我们发来详细信息，包括测试包、测试范围、覆盖范围等，然后我们创建一个测试周期，涵盖特定测试用例和待测试的场景。一旦测 设备覆盖范围 虽然开发者尽了全力，APP和网站在设备，网络和操作系统中难免不会发生意外故障。不同设备，OSes和浏览器运行方式中的小变化日积月累可能会导致性能和功能方面的大差异。因此，对客户最常用的设备和配置进行全面测试至关重要。随着不同类型的体验和交易利用越来越多的数字触点，合适的覆盖范围成为测试策略的一个关键变量。 本报告中的数据反映全球范围内的以下测试领域： 2022数字产品质量现状报告|5 试得出结论，已审核且分类好的Bug列表回溯给客户，测试周期也就到此完成。 我们跨行业，测试类型和区域分析的数据涵盖340,000个Bug，成千上万的电子设备，以及数以千计的设备/OS/浏览器组合。测试包括现实场景中的网站、APP、loT设备，手机网页以及手机程序。 设备配置数量 移动设备厂商195 移动设备型号2,288 移动OSes20 移动操作系统版本325 移动网页浏览器31 移动运营商566 桌面网页浏览器36 桌面OSes9 桌面操作系统版本166 机顶盒/流媒体装置118 设备配置数量 游戏机25 智能电视1,116 电视厂商57 ISPs137 信用卡/借记卡1,443 电子钱包30 手机钱包57 备用支付58 智能家居设备53 功能测试 数针对据功能集测试的代表性样本 3个测9试,1周期92 7个行0业+ 1个国5家9 3个B0ug5,400 2022数字产品质量现状报告|7 键且持续的努力。 体验所需一项关 功的能基石测——试是打数造字出质色量 一个可能的数字体验至关重要，从人工智能 投入全面的功能测试不足为奇。为了激发客 触终端客户之前尽力找出缺陷。测试对于每 公司为打造全类别最流行且排名靠前APP而户忠诚度和减少客户流失率，公司必须在接 随着数字质量当前发展状况的演变，全行业 内的成功品牌开始关注功能测试，借此保 驱动装置和可穿戴用品，到远程医疗咨询、在线购物、财务规划以及流媒体服务。 持自身的领先地位，确保真实环境中的数字 前就切断根源很重要。 体验工作得以顺利且持续进行。显然，功能 Bug依旧是一大担扰，因此，在它们产生之 功能测试Bug类型定义 Bug类型 用户体验 举例 内容 “读不通” 拼写错误，语法问题 系统崩溃 “APP瘫痪” APP意外关闭或退出 “根本不管用” 项目说明文字内容不全 我试着更新email地址时APP瘫痪 功能（工作流错误） 当我点击按键时没反应，搜索返回结果不正确 没法将品目添加到购物车 滞后或延迟 “花费时间太长”性能欠佳，突然不动 视觉性 “看起来不对劲” 内容或页面元素没对齐，内容放不下 我花了5分多钟才将家人要看的视频上传成功 我的部分行程在页画上没显示 2022数字产品质量现状报告|8 Bug类型 2022数字产品质量现状报告|9 滞2后.3或延%迟 9.内4容% 16视.觉5性% 68功.能3性% 3系.统5崩%溃 重大问题 工作流错误是我们的测试人员发现的最常见缺陷。这类Bug让用户无法完成想要的任务。不管客户是开立帐户，切换到别的流媒体，或搜索最完美的礼物，他们想要顺利完成一项任务。万一他们不能呢？对于APP瘫痪的响应可能会涉及从一时恼火到永久性弃用品牌。来自客户的负面评论会拖垮APP在应用商店的评分，致使其他潜在用户转而选择竞争对手的产品。此外，糟糕的用户体验导致品牌的顾客流失率攀升，致 使获客成本大幅增加。 Bug价值 Applause客户基于Bug对其潜在业务的影响来进行评估。 “最有价值”的Bug来自以下方面： 1.系统崩溃 2.滞后或延迟 3.功能问题/工作流错误 2022数字产品质量现状报告|10 建议 用数据来指导覆盖范围策略 确定客户最常使用哪种设备、网络和操作系统，并对这些进行优先排序。认识到这些可能会因区域和市场的不同而不同，比如，相比只在单个国家或区域运营的公司，业务横跨欧洲和亚洲的跨国公司必须应对更大的设备碎片化问题。相比服务于广泛受众的公司，只专注于儿童编程的传媒公司可能会有完全不同的设备覆盖范围要求。服务技术精英客户群的奢侈品牌需要确保测试始终能够涵盖市面上最新出现的设备和操作系统。因为他们的终端用户更有可能快速升级。企业需实时做好调研，并相应的制定测试计划。 了解设备实验室的限制 设备实验室在某些方面的确功不可没，但他们不提供对于真实体验的见解。比如，设备实验室不会告诉你向移动钱包添加新的支付工具有多简单，或者某人能否在火车上顺利连接到流媒体服务。除此之外，对于在全球范围内运营的公司，不可能供养一个实验 室来全面深入地模拟用户每天会使用的广泛设备、网络和操作系统环境。 超越内部团队和内部测试 企业内部员工在测试中起着重要作用，他们熟悉产品，相比单个用户，他们更有可能是仅仅遵循“happypath”而已.内部员工以截然不同的视角来接触产品，可能会犹豫指出自以为是的小故障，倾向于忽略客户不会忽略的事情。公正反馈是确保出色用户体验的最佳方式。 用自动化测试来掌握基础功能 自动化测试有助于增加代码覆盖范围和减少测试时间，解放QA资源去完成更多无法自动进行的策略性任务或测试。Applause的质量和工程自动化总监Mike McKethan建议从零开始自动化策略。他推荐敏捷测试自动化金字塔，即MikeCohn在他的《Scrum敏捷软件开发》书 里介绍的一种模型，“在Applause,我 们相信合适的自动化策略是建立在基础功能的基石之上，由小到大慢慢建立起来的。 2022数字产品质量现状报告|11 敏捷自动化测试金字塔 反面模式，这种模式着眼于端对端自动化测 对于想要的最后结果一定要有所侧重。做不到这一点，大部分客户最后都停留在自动化 测手动试测GU试I 验收测试（API级别） 单元测试/组件测试 试用例，需要持续维护，产生的投资回报率小。“McKethna如是说。 基础功能的基石之上， 合适的自动化策略是建立在由小到大慢慢建立起来的。 各区域比较 数字体验对于客户及其最常使用的设备和网络是否持续有效，当地市场测试对于确保这一点至关重要，真实环境评估对于所有数字体验都很重要：从使用拼车APP或参加远程医疗课程，到搜索网站或验证流媒体服务广告等。了解所有做过测试的区域，以及每个区域出现了多少Bug。 在所有区域中功能问题是最常见的缺陷，而滞后或延迟是最少见的问题，部分区域发生系统崩