辛新-自动化测试的智能化转型探索与实践

自动化测试痛点分析与解决方案

自动化测试痛点分析

1. 单接口测试脚本智能生成

   • 利用大模型批量生成单接口自动化测试脚本，解决编写量大问题。
   • 实践心得：
     • 模型选型：选择常用模型评估，根据资源情况选择合适参数量级；同一系列模型参数量越大效果越好，但资源消耗也越高；不同系列模型需调整提示词。
     • 两步生成设计：分步生成效果优于单步生成，允许测试人员调整中间生成用例。

2. UI测试脚本智能生成

   • 根据测试用例描述及UI页面，利用大模型逐步分析动作生成UI测试脚本。

3. 分布式执行的挑战

   • 自动化测试平台支撑200多系统，采用分布式执行，任务随机发起、动态变化。
   • 智能调度：设计调度策略最大化执行节点资源利用率。

4. 智能调度应用落地

   • 人工分析成本高，自动化测试脚本执行失败原因多样，需分析报错信息、日志等。
   • 失败原因分类与规则库建设：基于规则库分级匹配，分析归类历史失败原因。

5. 自动化测试收益

   • 扩大回归范围：自动化测试覆盖率高，保障上线质量。
   • 缩短交付时间：执行速度快，实现快速反馈，缩短发布周期。
   • 收益量化：
     • 人效替代：某手机银行转账流程，手工测试30分钟，自动化测试480分钟，节省人日计算公式为（30*1-480）/60/8=-0.935人日。
     • 投资回报率（ROI）：举例流程执行1次，ROI=30*1/480=0.0625。

6. 度量方法

   • 投入：
     • 纯手工：线下记录，工作量大，数据不客观。
     • 半自动：填写日报，工作量较大，数据不客观。
     • 全自动：埋点采集，无感、数据准确，可精准到分钟。
   • 埋点方式：
     • 前端埋点：更精准，但维护成本高、影响性能、数据可能丢失、计算逻辑复杂。
     • 后端埋点：更全面、灵活、成本低、无感知。

7. 星辰平台金牛座自动化测试系统

   • 采用后端埋点方式，实现自动化测试投入数据采集。

8. 未来展望

   • 落地大模型智能生成UI自动化测试脚本。
   • 持续推广智能生成技术在项目中的应用。
   • 通过模型微调、检索增强等技术优化脚本生成效果。
   • 收集执行日志及错误报告训练，优化智能分析效果。

9. 持续做优与拓展广度

   • 探索智能技术在自动化测试领域的更多应用场景：
     • 精准测试+智能化=>定制自动化测试执行策略。
     • 缺陷检测+智能化=>自动给出解决方案。