2023年数字质量报告

2023 数字质量状况 Contents 03执行摘要 04Methodology 05功能测试 11可访问性测试 17本地化测试 22客户旅程测试 25付款测试 29Conclusion 数字质量状况2023 2 2023年数字质量状况 3 执行摘要 第二年，掌声分析了我们的测试数据的代表性样本 ，以确定和分析最常见的 我们评估了超过16,000个个人移动设备、1,000个独特桌面和500个操作系统版本的体验，以评估网络、浏览器、 全球的支付工具和一体化。 基于我们与不同行业和地区的公司的合作，我们对数字质量状况拥有独特的洞察力 技术成熟度级别，他们正在创建广泛的应用程序类型。 今年，我们包括了有关不同地区最频繁测试的设备，配置和支付工具的其他数据 andindustries,aswellastheaveragenumberofconfigurestested.Wealsosharedobservationsonthecorecapabilities,practicesandprocessesinplaceat对数字质量的不同程度的承诺。 今年报告的一些亮点： →数字质量是一个交叉的学科。 功能，本地化，可访问性，付款，客户体验和UX相互渗透。从整体上而不是孤立地评估应用程序或数字体验的不同组件，以真正 了解客户与您的品牌的接触。掌声测试人员去年发现了200,000多个缺陷，很明显，开发组织在追求卓越方面还有很长的路要走。 →Applause的2023年可访问性和包容性设计调查发现， 43%的受访者将可访问性列为他们的组织。近四分之三 -72％-报告说他们的公司有专门的员工无障碍专家。 产品设计师和工程师正在更快地将可访问性构建到产品和代码中 而且比过去更频繁。 →随着更个性化的体验成为常态，组织必须评估更多设备的功能和UX 组合、配置、工作流和维度。测试矩阵和应用程序本身变得越来越复杂 更难管理。 →训练和测试支持更高个性化的AI和机器学习(ML)引擎需要专门的数据 和许多企业没有的知识-并且很难找到。掌声的 AI和语音调查发现，86%的 受访者担心人工智能的偏见，公司必须解决这些偏见，以保持客户的信任和忠诚度。 →虽然公司采取了许多不同的 数字质量的方法和沿着不同路径的进步，我们已经观察到 与承诺的不同阶段相对应的一些共性-和 我们提供了一些简单的框架，而不是正式的成熟度模型，组织可以使用这些框架来衡量不同维度的数字质量工作的结构，效率，有效性和可扩展性。虽然文化，流程和成熟度水平是动态的，并且在一个阶段结束和另一个阶段开始时并不总是有明确的界限，但诚实地看待现状可以突出哪些努力将对数字质量产生最大的影响。 Methodology 我们分析了2022年1月1日至2022年12月31日之间执行的封闭测试周期的代表性样本的结果。测试周期是掌声如何定义每个独特的集合 测试：客户端向我们发送测试参数-构建，范围，覆盖率等-我们创建一个测试周期，其中包括要测试的特定测试用例和场景。 我们分析了跨行业、测试类别和地区的数据，这些数据涵盖了超过200,000个Bug、数万个设备和数千个设备/操作系统/浏览器组合。 测试包括现实世界中的网站，应用程序，物联网设备，移动Web和移动应用程序 场景。 设备覆盖范围 本报告中的数字反映了全球范围内以下范围的测试： 移动设备 Mobilemakes167 Mobile模型2,296 Mobile操作系统21 移动操作系统版本396 移动Web浏览器36 Mobile载体573 媒体 机顶盒/流媒体设备181游戏控制台35智能电视2,270 电视提供者65 ISP164 台式机 桌面Web浏览器35 台式机操作系统10 桌面操作系统版本202 付款方式 信用卡/借记卡 3,224 电子钱包 48 移动钱包 87 备用付款 83 Home 智能家居设备84 2023年数字质量状况4 功能测试 询问开发人员，QA工程师和用户应用程序是否有效，您可能会得到三个截然不同的答案。 个人用户确定每个应用程序是否运行良好，足以让他们采用它。从基础知识开始-从确保用户可以下载和安装应用程序，到验证更复杂的工作流程和集成，包括API，IoT和蓝牙连接 -组织必须在向客户发布应用程序之前确保基本功能这 并不总是开始解决UX问题。 虽然功能测试本身通常并不困难，但在必要的时间范围内进行所需的测试数量，跨越所需的设备和操作系统配置，对许多QA和开发构成了挑战 此外，团队通常优先考虑测试，而不是开发测试策略或做日常工作，使测试更有效 从长远来看是有效的。如果你推迟了测试套件的维护，请举手， 在测试进行时发布，从其他部门获得帮助以完成测试，或者因为没有时间而带着风险发布。 数据集 功能测试的代表性样本。 38,920 试验循环 70+ 工业 153 国家 173,725 bug 数字质量状况20235 Bug类型故障 查看我们分析的数据中每种类型的错误的患病率： Bug类型 用户体验 Content “这读不对”错别字，语法问题 碰撞 “应用程序关闭”应用程序意外关闭或退出 功能（工作流错误） “这不正常工作”按钮不响应时单击，搜索返回不正确的结果 滞后和延迟 “这花了太长时间”性能迟缓，冻结 视觉 “这看起来不太对劲”未对齐的内容或页面元素，内容不适合区域 3.9% 4.8%17.8%Content4.8%碰撞 17.8% 24.5% 49% 49%Functional3.9%滞后和延迟24.5%视觉 尽管崩溃是最严重的缺陷,但它们继续困扰着应用程序,没有任何逐年改进的迹象。有关功能测试器件覆盖率比较和测试的最受欢迎器件，请参见附录A. 6 2023年数字质量状况 Bug类型定义 金融科技如何确保创新和卓越 拥有领先金融交易平台的掌声全球金融科技客户面临着保持质量 ，创新和人员管理的挑战。数百种应用程序需要在高风险平台内无缝运行，但该公司正在努力发布新功能，同时维护大量回归测试套件。此外，所有测试人员都必须 训练有素的金融交易。 金融科技与掌声合作监督全面交付和 参与管理，从70多个国家/地区招募一支由50多名具有金融服务经验的高级测试人员组成的团队，在18个工程团队中工作。掌声拥有QA职能 在金融科技合作伙伴，并提供最好的 关于测试策略的实践和指导。金融科技通过最大限度地减少泄漏到生产中的错误来防止收入损失，对常见的功能问题有更深入的了解，并且拥有可以根据需要扩展的QA团队。 如果您的组织正在建立或增强系统以 确保质量，使用本报告作为制定计划的指南，涵盖最常见的设备，新兴的支付形式，以及围绕可访问性和 本地化，因为这些是趋势。掌声看到组织在提高质量和 用户体验时拥抱。 2023年数字质量状况 7 功能测试框架：核心能力和实践 在我们与全球客户的互动中， 掌声看到了各种各样的数字质量方法。我们的新框架详细说明了我们通常观察到的阶段，随着公司迈向数字卓越 ，完整 带有组织类型的示例 capabilitiesandactivitiesthatcharacterizestage.Whilemostcompaniesandteamsmixpracticesfromdifferentstagesinthefollowingtable,asinglestagetypicallydefinedthe 企业对质量的普遍态度。 尽管级别之间似乎没有明确的界限，但最接近该过程的人会在某个时候意识到从一个点到下一个点的转变已经发生。 该框架可以作为一个有价值的起点，帮助您了解组织在数字质量方面的进展 以及如何升级以获得与提高质量和可用性相关的竞争优势 。 功能测试框架 数字质量的出现： 缺乏正式的系统，流程和文档-而个人可能有自己的方法和 文档，组织没有一致的质量方法或方法。 典型的测试活动和流程示例： →开发后进行反应性测试 →在不记录测试用例或测试运行结果的情况下运行测试；或 记录不佳 →不一致地运行测试用例 →跳过测试用例文档或编写测试用例，使它们难以遵循或重现 →练习一些探索性测试和dogfooding →使用不同的环境开发、测试和生产 数字质量要点： 定义和记录过程和程序的早期阶段；围绕测试工作建立一些一致性和结构。团队可能有自己独特的过程，工作可能仍然是孤立的。 典型的测试活动和流程示例： →记录基于功能的测试的测试用例 →确保测试用例编写清晰 →定义设备覆盖矩阵 →维护已知问题/bug积压列表 →生产前测试发布 →对主要应用程序组件或工作流程进行单元、烟雾和回归测试 →执行新功能/应用程序更改的探索性测试 →记录测试运行结果 →自动化频繁执行/很少更改的测试 数字质量扩展： 该组织有明确的流程，并使用了广泛的测试类型。一些报告已经到位。 关注整个组织的覆盖范围、可扩展性和效率。 典型的测试活动和流程示例： →维护已定义的设备 基于有关网站/应用程序使用情况的数据的覆盖率矩阵 →对所有工作流进行回归测试 →测试用户接受度和UX以获取新功能/应用程序更改 →利用测试自动化进行重复性测试；审查和定期更新自动化脚本 →记录所有功能的测试用例/套件 →通过数据和报告测量质量KPI 数字质量卓越： 质量嵌入到公司的DNA中，并从端到端的所有产品和体验中，并在整个SDLC中进行测试和反馈。 典型的测试活动和流程示例： →整个SDLC的测试，包括预生产中的冲刺测试 →将客户的声音融入产品设计 →在所有接触点提供卓越的UX和体验 →保持强大的测试用例管理流程 自动化所有人类无法做得更好的重复测试 →定期审查和完善测试流程 →主动平衡手册 功能性、探索性和自动测试；记录何时使用每种测试类型 探索新的测试流程以提高质量、效率和覆盖面 →推动整个SDLC的创新 →使用报告分析趋势并确定需要改进的领域 8 功能测试建议 主动检查您的测试实践如何为您的组织服务，最重要的是，为您的最终用户和客户服务。要真正改进，你需要了解你的 当前状态，这可能是孤立的或不一致的不同团队，产品 ，组，甚至个人团队成员。 工作和复制，以及什么是不工作，需要解决。如果你的组织已经取得了卓越，认为 关于你需要做些什么来保持它 职位以及如何为其他团队和企业提供榜样。 卓越的质量不仅仅需要测试时间；它需要管理测试策略以及捕获和评估数据的时间。及时为开发人员和测试人员构建文档流程，审查 与团队合作，并定期更新以确保他们仍然工作，并且每个人都遵循这些流程。不投资于质量计划的基本要素的组织， 包括记录过程，管理测试用例和记录测试运行结果，将花费 不必要的时间让新的团队成员加快速度，试图确定哪些测试是运行的，是如何运行的，并且绝望地回溯以找到缺陷何时以及如何溜走， 没有预防措施来防止系统故障再次发生。 认识到实现卓越并不意味着工作已经完成。理想情况下，作为您的QA 实践的改进，你会发现问题在开发周期的早期，当他们更容易，更便宜地修复，而不是当他们达到生产。如果你没有发现缺陷 在测试过程中，这很好-但这并不意味着您应该停止测试。它只需要一个缺陷就可以达到生产 客户体验，并根据严重程度影响收入。卓越是一种持续的随着新技术和创新进入市场，移动目标。虽然你可能会高度自动化和成熟的一些应用程序，以保持竞争优势，你可能需要开发新的功能，你的客户需求。保持对质量的投资至关重要。快速适应和扩展的能力取决于保持您构建的功能。保护他们，以降低风险，保持你的竞争优势。 数字质量状况20239 测试自动化的作用 QA的所有方面都不可能自动化。然而，有效的测试自动化策略是 这是实现DevOps和卓越数字质量的关键组成部分。不幸的是，太多的组织难以建立、维护和扩展测试自动化 当团队了解自动化的目的，目标和局限性时，就有可能开发出一种策略，该策略可以轻松扩展并释放人类测试人员来完成自动化无法处理的任务。 投入时间和精