2024年欧洲数字质量状况（英文版）

数字质量状况在欧洲 03执行摘要 Contents 26本地化测试 05方法论32付款测试 06功能测试 40AI培训和测试 16可访问性测试45Conclusion 22UX测试 数字质量状况2024|2 执行摘要 作为全球领先的测试和数字质量公司，Applause具有独特的视角。我们的团队成员深入参与了全球领先技术和创新者的测试及测试策略。《数字质量现状报告》借鉴了部分我们的研究成果，旨在帮助组织提高整体数字质量、加快产品发布速度并提升效率。 在过去三年中，Applause分析软件开发、测试和质量保证的趋势，以衡量数字质量的状态。除了挖掘我们crowdtesting平台的数据外，我们还对社区和企业客户进行了调查，以便更好地了解开发组织在数字质量连续体中的位置。 可访问性与包容性设计、支付、本地化——如今还包括用户Experience （用户体验，UX）和人工智能（AI）。 这些框架为组织和团队提供了一种方法来基准其当前能力，并规划改进方案。虽然某些团队在某些领域已经取得了卓越的成绩，但只有少数团队能够在其数字体验的各个方面全面嵌入质量文化。这是一个艰巨的目标，更难的是保持这种状态——每次发布都会带来新的代码需要测试，需要编写文档，更新并执行测试案例，还需要做出各种决策。这始终是一个不断变化的目标。而Applause的团队——以及大多数最终用户——都相信这个目标是值得追求的。 去年，我们引入了框架以帮助组织评估其向实现全面数字质量迈进的进展，包括它们应采用的核心能力、实践和流程。这些框架涵盖了功能测试等方面的内容。 数字质量状况2024|3 今年报告的要点 衡量成功仍然是一个挑战。欧洲将无障碍性视为组织的首要优先事项，仍有29%的受访者表示没有直 组织依赖多种衡量标准和KPI来从多个维度评估数字质量，以客户为中心的指标是最常见的成功指标。尽管依赖多种KPI，许多团队仍然缺乏对其表现完整情况的理解。 Ǫ流程和文档往往因紧迫的截止日期而被忽视。在欧洲，少于三分之一的受访者表示其组织拥有全面的测试案例和测试计划文档。尽管大多数团队认识到清晰定义的测试方法论、准确的文档记录以及在整个软件开发生命周期（SDLC）中进行测试和反馈的基本价值，这些战略重点往往为了速度而被牺牲。 接让残疾人（PWD）参与设计或测试过程。此外，46%的受访者表示他们缺乏内部资源进行无障碍性测试——这一事实似乎与将无障碍性视为首要优先事项的事实相矛盾。 Ǫ高质量的用户体验决定了生成式AI（GenAI）的成功与否。尽管生成式AI在未来具有高度个性化的能力，但目前组织要想让客户感到满意和被重视，最好的方法是专注于用户体验（UX），提供能够考虑到不同市场和人口统计学群体偏好的体验。我们的AI调研发现，27%的GenAI用户因用户体验和性能问题而更换了服务。在市场上，只有无情地追求令人愉悦的机会并持续致力于消除缺陷、摩擦和偏见，才能脱颖而出，因为每个竞争者都在争夺市场份额。 Ǫ尽管数字Accessibility资源是一项优先事项，但实际上仍然缺乏。根据我们2024年的Accessibility和包容性设计调查，欧洲受访者中有26 %的人表示缺乏相关资源。 数字质量状况2024|4 Mobile 其他设备 移动制造 79 机顶盒/流媒体设备 160 移动模型 1,266 游戏控制台 34 移动操作系统 12 智能电视 1,450 移动操作系统版本 385 电视提供商 63 移动Web浏览器 37 ISPs 59 移动运营商 225 智能家居设备 29 台式机 付款方式 Methodology 我们分析了2023年执行的一份代表性样本封闭测试周期的结果。一个测试周期是Applause定义的每一套独特测试：客户向我们提供测试参数——构建、范围、覆盖率等——然后我们创建一个包含特定测试案例和场景的测试周期。此外，我们在全年对uTest社区和Applause客户进行了多次调查，以识别不同类型的数字体验在开发、测试和消费者偏好方面的趋势。 该数据涵盖多个行业、测试类别和区域，包含超过748,000次测试运行、成千上万的设备，以及数千种设备/操作系统/浏览器组合。测试包括现实场景中的网站、物联网设备、移动网页和移动应用。 桌面Web浏览器台式机操作系统桌面操作系统版本 27 7 207 信用卡/借记卡电子钱包 移动钱包备用付款 763 43 68 64 数字质量状况2024|5数字质量状况2024| 功能测试 去年，Applause测试人员在全球范围内执行了近75万个测试案例。尽管大约有80%的测试案例通过，但剩余未通过的20%测试案例反映了各种严重程度和范围的缺陷，从毁灭声誉的重大灾难到细微的可用性挑战。这一比率在各行业中相对平均，通常被视为一个良好的比率。由于功能基础和代码的变化，每次发布和测试周期都有改进的空间。没有人期望完美——然而，团队仍然继续寻找并解决严重影响用户体验的问题。 往往，组织过于专注于快速发布，而忽略了为长期成功做好准备。保持代码整洁、编写良好的测试用例、记录测试运行结果以及利用数据来集中努力，可以使得开发和质量保证团队both更加有效率和高效。这些任务还为他们后续的扩展打下了基础，使其能够在最小化成长痛苦的情况下实现规模扩张。 理想情况下，数字质量应更加注重于预防而不是查找缺陷，在整个开发阶段创建系统和过程以防止缺陷的发生。所有框架都假设对应功能测试框架的许多/大多数元素已经在位。 数据集 欧洲功能测试的代表性样本 12.1K试验循环 43个国家 98Kbugs 数字质量状况2024|6 功能测试框架 数字质量的出现： 缺乏一致的系统、流程和文档——虽然个人可能有自己的方法和文档，但组织并没有一致的质量方法或做法。 测试活动和流程示例： ǪDogfooding Ǫ开发后进行反应性测试 Ǫ不记录测试案例或测试运行结果而进行测试；或者记录质量差——基于Bug报告可能无法重现 缺陷。 Ǫ运行测试用例不一致 Ǫ跳过测试用例文档或以使它们难以遵循或重现的方式编写测试用例 Ǫ实践一些探索性测试 Ǫ使用不同的环境进行开发、测试和生产 数字质量要点： 初步定义和记录流程与程序；在测试工作方面建立一定的一致性和结构。尽管团队可能拥有自己独特的流程，但努力仍可能被孤立。 测试活动和流程示例： Ǫ记录基于特性的测试的测试用例Ǫ确保测试用例编写清晰 Ǫ定义设备覆盖矩阵 Ǫ维护已知问题/bug积压列表Ǫ测试发布预生产 Ǫ对主要应用程序组件或工作流程进行单元、烟 雾和回归测试 Ǫ对新功能/应用程序更改执行探索性测试Ǫ记录测试运行结果 Ǫ自动执行频繁/很少更改的测试 数字质量扩展： 清晰的流程和广泛的测试类型已到位。部分报告机制已建立。重点在于组织范围内覆盖范围、可扩展性和效率。 测试活动和流程示例： Ǫ根据有关网站/应用程序使用情况的数据维护定义的设备覆盖矩阵 Ǫ对所有工作流进行回归测试 Ǫ针对新功能/应用程序更改测试用户接受度和UX Ǫ利用测试自动化进行重复性测试；定期审查和 更新自动化脚本 Ǫ记录所有功能的测试用例/套件Ǫ通过数据和报告衡量质量KPI 数字质量卓越： 质量嵌入公司的DNA中，并从端到端的所有产品和体验中。 测试活动和流程示例： Ǫ在整个SDLC、冲刺(in-sprint)和分期/预生产中进行测试 Ǫ将客户的声音融入产品设计和开发Ǫ跨所有接触点提供卓越的UX Ǫ维护强大的测试用例管理流程 Ǫ自动化所有人类无法做得更好的重复测试Ǫ定期审查和完善测试流程 Ǫ主动平衡手动功能测试、探索性测试和自动化测 试的使用；记录各种测试类型的应用场景。 Ǫ探索新的测试流程，以保持高水平的质量、效率和覆盖范围 Ǫ推动整个SDLC的创新 Ǫ使用报告分析趋势并确定需要改进的领域 数字质量状况2024|7 为了确定大多数组织在该框架中的位置，Applause对欧洲地区的软件开发和质量专业人士进行了调查。以下是部分调查发现。 角色n=893 2.0% 14.1% 6.1% 18.2% 56.6% 18.2%工程59.6% QA6.1%DevOps 14.1%产品2.0% 运营 数字质量状况2024|8 数字质量状况2024|9 在数字质量方面，您会如何对组织的结构和一致性进行排名 11.7% 24.5% 22.0% 41.7% ？ 11.7%涌现22.0% 要素41.7%扩展2 4.5%卓越 n=877 虽然有24.5%的欧洲受访者表示其组织拥有全面的端到端测试流程和文档，并且这些流程和文档在组织内所有产品中一致使用，但仍有11.7%的受访者仍处于建立数字质量计划的最早阶段。最多比例的受访者（41.7%）已经有一些明确的测试流程、文档和报告，并正在努力在整个组织范围内推广这些流程，而其余的受访者虽然已有部分基础元素，但仍需进一步巩固质量计划的其他关键要素。 数字质量不仅仅是打勾或进行某些活动那么简单。那么不同群体是如何定义质量和监控其进展的呢？组织机构正在使用多种指标来评估数字质量。 最常见的质量指标 n=888 大多数组织也在进行各种类型的测试。尽管大多数欧洲组织主要侧重于功能测试，我们发现许多公司正在增加对非功能测试的投资以提高竞争力。 客户满意度 研究 客户情绪/ 反馈测试覆盖率 缺陷数达到生产 47.1% 44.9% 42.3% 37.0% 组织正在进行的测试类型 46.2% 29.7% 63.8% 44.2% 53.4% 67.1% 56.2% n=872 客户数量 支持门票 收入 活动增加 (购买、登录等) 34.8% 26.7% 23.6% 17.9% 24.9% 可访问性 探索性 本地化 Payments 安全 烟雾 回归 User 验收 Other 4.4% 性能 数字质量状况2024|10 您在哪里测试和收集SDLC中的反馈？n=795 尽管在整个软件开发生命周期（SDLC）中进行测试是最佳实践，许多欧洲组织并未实施。在今年的调查中，36.8%的受访者表示他们的组织仅在SDLC的测试阶段进行测试；另有6.7%的受访者表示仅在部署阶段进行测试。 定义需求 Planning 16.6% 12.3% 当被问及团队在开发过程中执行哪些类型的测试和质量控制程序时，受访者报告采用了各种不同的方法。最常见的活动包括： DesignDevelopment Testing部署Maintenance 12.5% 26.5% 17.4% 13.5% 52.3% 61.0% 集成测试 36.0% 同行评审 59.0% 单元测试 30.0% 静态代码审查 55.0% 检查暂存中的Bug 数字质量状况2024|11 如何定义探索性测试？ 探索性测试 将近60%的欧洲基于团队在每次发布中都会纳入探索性测试，并且相似比例的团队表示他们在更改功能或工作流程时会进行探索性测试。 同时进行学习、测试设计和执行。它侧重于发现，并依赖于个体测试员的指导来发现其他测试范围之外不易覆盖的缺陷。 让测试人员花一些时间探索应用程序中发生变化的部分，可以提供一种简便的方法，在客户在典型使用模式中遇到这些问题之前发现其中的缺陷。特别是在创意测试人员手中，集中进行探索性测试可以迅速发现潜在问题并确保更好的发布版本。 探索性测试是一种非正式的测试方法，其中测试人员动态地探索软件、设计并执行测试用例，并根据即时反馈调整测试策略。该方法强调了解系统、发现缺陷，并在测试过程中不断优化测试场景。 您多久进行一次探索性测试？n=381 60.9%53.0% 每一次释放每当我们改变功能或工作流 47.2% 每当我们推出一个新 功能 灵活进行测试，tester的技能和经验至关重要。这些测试使我们能够发现最初未被考虑的缺陷。 数字质量状况2024|12 大多数欧洲组织报告称，质量保证（QA）团队进行测试（占比78.8%），而有38.1%的受访者表示只有QA成