去哪儿网自动化测试系统 TARS 的设计迭代方案-崔宇

去哪儿网UI自动化系统TARS的设计演进方案

1. UI自动化测试的技术现状

• 基础功能：点击元素、识别模拟操作
• 常用框架：Appium, WDA, UI Automator, Espresso, Selendroid, Selenium
• 元素识别：图像/AI识别，如input[@class='s_ipt']

2. TARS实现及演进方案

• 整体演进方案：录制任务构建、设备调度、手动编写、自动录制、Jenkins、TARS云测平台、单机分布式、集群
• UI自动化框架选型：WDA（Android）、Web、iOS
• 基于POM的设计：封装页面行为方法，执行case
• 手动编写case流程：通过数据工具获取参数，选择城市、日期、搜索、断言结果
• 自动录制原理：运行时数据、程序代码、操作行为回放
• 自动维护元素标签：通过diff方式匹配老标签与新标签
• 自动维护元素标签：代码修改对标签产生影响
• 自动生成录制脚本：交互组件代理、事件记录、埋点执行
• 数据现场及回放：存储网络请求、返回数据，导入数据文件
• 自动生成断言：AI智能识别组件内容，准确定位断言内容

3. 成果收益

• 指标介绍：
  • 覆盖度：设备覆盖度和业务覆盖度
  • 拦截跳过率：自动化拦截比例
  • 准确率：排除错误判定后的比例
  • 召回率：实际测试出来的bug与真正存在的bug的比值
  • 运行时长：自动化任务的运行时间
• 迭代效果：
  • 改进前：业务覆盖只有几个主要业务线
  • 改进后：各业务线接入，节约人力，每月节约上百小时
  • 发布质量：一两个主要业务前端发布无故障，各业务线前后端发布，降低线上故障

4. 未来计划

• UI自动化未来发展方向：跨平台识别操作、操作脱离平台限制、AI识别元素
• 持续提升case编写体验及运行可靠性：AI NLP IDE
• 更多服务：基于UI自动化技术提供更多的服务支持