辛新-自动化测试的智能化转型探索与实践

自动化测试的智能化转型探索与实践 辛新 中国邮政储蓄银行软件研发中心副处长 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 辛新 副处长 资深测试专家，现任中国邮政储蓄银行软件研发中心测试处副处长，星辰平台金牛座自动化测试系统项目负责人，主导中心自动化测试体系和能力建设。 自动化测试痛点分析 自动化测试到底能带来多少价值？ 执行时间长 数据不准确 测试流程脚本建设测试执行结果分析收益统计 痛点问题 脚本编写成本高脚本量级大导致 失败原因定位成本高统计工作量大且 解决方案 智能生成 智能调度 智能分析 智能度量 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 01 智能生成 02 智能调度 目录 03 智能分析 04智能度量 05未来展望 01智能生成 脚本建设测试执行结果分析收益统计 智能生成 智能调度 智能分析 智能度量 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 单接口测试脚本智能生成 利用大模型批量生成单接口自动化测试脚本，解决单接口测试脚本编写量级较大的问题。 测试要点编辑测试用例生成 测试脚本生成 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 单接口测试脚本智能生成（续） 实践心得一，模型选型：选择常用的模型进行评估，根据评估结果和资源情况进行最终选型。 试点模型 chatglm3-6bchatglm3-32bchatglm4-9b盘古-34bQwen1.5-32bQwen2-72b 评估规则（简略版） 用例生成 生成样式是否符合要求生成用例的准确性，能否全部覆盖测试要点且准确是否没有无关用例 脚本生成 请求参数生成是否正确断言生成是否正确 选型建议 1、同一系列的模型，参数量级越大，效果越好，但消耗的资源也越多，且超过一定量级后，效果提升不明显，建议根据现实的资源情况选择合适的参数量级； 2、不同系列的模型，需要针对性的调整提示词，且生成效果存在差异，建议根据所选模型调整提示词。 实践心得二，两步生成设计： 1、经试验，分步生成比单步直接生成效果更好； 2、可以让测试人员对中间生成的测试用例进行调整。 UI测试脚本智能生成 利用图像识别技术分析页面上的元素及类型 1.点击“转账汇款” 2.点击“银行账号转账” 3.输入“户名”张三4.输入“账号”66665.输入“金额”100 6.点击“确定” 根据测试用例描述及UI页面，利用大模型逐步分析下一步动作，最终生成UI测试脚本。 向张三账号6666转账100元。 动作列表 判断是否结束：模型认为无需下一步动作or循环步骤or列表超长 测试用例描述 UI测试脚本生成模块 UI测试脚本 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 利用大模型分析测试需求，预测下一步动作 上一步动作：点击转账汇款 上一步动作：点击银行账号转账 上一步动作：输入户名账号转账金额、点击确定 UI测试脚本智能生成示例 测试需求：向张三账号6666转账100元 测试需求：向张三账号6666转账100元 测试需求：向张三账号6666转账100元 测试需求：向张三账号6666转账100元 元素：转账汇款动作：点击 元素：银行账号转账 动作：点击 元素：户名 动作：输入张三元素：账号 动作：输入6666元素：转账金额动作：输入100元素：确定 动作：点击 无需下一步动作 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 1.点击“转账汇款” 2.点击“银行账号转账” 3.输入“户名” 4.输入“账号” 5.输入“金额” 6.点击“确定” 02智能调度 脚本建设 测试执行结果分析收益统计 智能生成 智能调度 智能分析 智能度量 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 分布式执行的挑战 自动化测试平台目前支撑行内200多个系统的自动化测试实施，为支撑大量并发，采用了分布式、配合调度策略的执行方式。 自动化测试任务具有随机发起、动态变化的特点。 如何设计调度策略，可以实现执行节点资源利用率的最大化？ 智能调度应用落地 脚本4脚本5脚本6 脚本1脚本2脚本3 执行机1执行机2 脚本1脚本3脚本4 脚本2脚本5脚本6脚本8 执行机1执行机2 脚本7脚本8脚本9 脚本7脚本9 执行机3执行机3 顺序分配整体执行时间 智能调度整体执行时间最短 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 无智能调度，执行时间为54秒 智能调度，执行时间为39秒 03智能分析 脚本建设 测试执行结果分析收益统计 智能生成 智能调度 智能分析 智能度量 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 人工分析成本高 自动化测试脚本执行失败原因多样，测试人员需要根据报错信息、脚本执行日志、被测系统日志甚至关联系统日志来定位具体的失败原因，对测试人员的技能水平要求较高，沟通分析成本较高。 网络连接超时 未找到该用户 操作频繁 errorinvokingbshmethod AppiumnosuchDriverException 500 …… classnotfound 账户已冻结 失败原因 密码错误 outofmemory 已超出单日限额 流水查询失败 …… 查询转账手续费错误 filenotfound 失败原因分类与规则库建设 基于规则库分级匹配，对脚本执行的历史失败原因进行分析归类，并建立相应的规则库，作为自动分析定位失败原因的数据基础。 classnotfoundoutofmemory 网络连接超时 401 通用问题 企业网银系统 业务报错 个人网银系统 …… 平台工具问题 Appium nosuchDriverException …… errorinvokingbshmethod GOPS全球运维大会暨XOps技术创新峰会2024·北京站 04智能度量 脚本建设 测试执行结果分析收益统计 智能生成 智能调度 智能分析 智能度量 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 自动化测试收益 扩大回归范围 范围自动化测试覆盖率高，回归测试的范围越大，上线质量越有保障。 缩短交付时间 自动化测试执行速度快，可实现快速反馈，缩短软件发布周期。 自动化测试 时间成本 测试成本较高 建设维护成本高，成本回收周期长。如何高效、准确的评估收益？ GOPS全球运维大会暨XOps技术创新峰会2024·北京站 自动化测试收益量化 投资回报率 𝑹�=�×� �+� 举例流程执行1次：ROI=30*1/480=0.0625 成本回收转折点：ROI>1优势：业界通用。 人效替代 VS 某手机银行转账流程 测试人员手工测试时间（T）30分钟，该流程实现自动化测试脚本建设花费时间（D）480分钟。 节省人日=�×�−�−� 举例流程执行1次：节省人日=（30*1 -480）/60/8=-0.935人日 成本回收转折点：节省人日>0 优势：更为直观的度量自动化测试带来的收益。 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 核心数据项 统计难度 T：time，单次手工测试时间N：number自动化测试运行次数D：development开发成本M：maintenance维护成本 度量本身也有成本 产出 � � 历史经验估算：（根据精确度要求调整） ➢同系统手工执行时间均值 ➢同系统、同用例类型手工执行时间均值 ➢…… 投入 DM 纯手工人工线下记录一段时间内的自动化测试投入时间，收集汇总。 ×工作量大 ×数据不客观 ×数据格式不统一 半自动填写工作日报，从日报中提取自动化测试投入时长。 ×工作量较大 ×数据不客观 全自动根据用户操作进行埋点，自动采集投入时长。 ✓无感，没有额外工作量 ✓数据准确、客观 ✓可精准到每个脚本的投入，最小时间单位为分钟 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 埋点方式采集数据 前端埋点 ×维护成本高：需要上报埋点的操作多，需要修改多处代码 ×影响前端性能 ×埋点有丢失：如浏览器直接关闭等原因导致埋点数据不完整 ×计算逻辑复杂：需要处理开会、休息日等特殊情况 ✓更精准：密集埋点，可配置时间间隔，采集更精准 ✓更全面：接口与页面操作存在一对多关系，在接口层配置，减少遗漏 ✓更灵活：可配置需要埋点的接口列表 ✓成本低：通过切面技术，统一管理埋点操作 ✓无感知：对用户操作无影响 后端埋点 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 05未来展望 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 星辰平台金牛座自动化测试系统 金牛座自动化测试系统 接口自动化 WEBUI自动化 移动端自动化 场景流程自动化 挡板服务 公共管理 环境管理数据管理权限管理规则管理 任务管理 执行调度 框架工具 JmeterSeleniumAppiumSikulixAirtest…… Generate 智能生成 Dispatch 智能调度 Analysis 智能分析 Measure 智能度量 脚本建设 测试执行 结果分析 收益统计 未来展望 1、落地大模型智能生成UI自动化测试脚本的设想； 2、持续推广智能生成等技术在项目中的广泛应用； 3、通过模型微调、检索增强等技术，持续优化脚本生成效果； 4、收集执行日志及错误报告进行训练，优化现有智能分析效果。 持续做优 探索智能技术在自动化测试领域更多的应用场景：Ø精准测试+智能化=>定制自动化测试执行策略Ø缺陷检测+智能化=>自动给出解决方案 ➢…… 拓展广度 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 团队成员 辛新 焦烨 李星 赵薇 Thanks 高效运维社区DevOps时代 荣誉出品 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 THANKS 感谢大家观看 2024.6.29