韩威-京东 DevOps 平台测试域能力与平台建设实战

京东DevOps平台测试域能力与平台建设实战 韩威资深架构师 2015年加入京东，专注于解决测试痛点，提升测试效率。先后主导集团级测试管理平台、自动化平台、测试物料平台的设计开发，目前作为京东测试效能领域专家，负责集团测试域效能平台的统一化建设。 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 Content 目录 测试工具的演进过程 01 业务规模驱动下的平台演进与组织变革 02 测试平台的精品打造 垂直领域精品打造，水平链路高效串联 03 多端测试的工程实践 基于场景的测试一站式解决方案 04 探索方向与未来展望 从自动化走向智能化的探索与展望 01 测试工具的演进过程 业务规模驱动下的平台演进与组织变革 自建物流体系 •第一笔融资$1000万 •自建物流体系 •全品类转型 京东多媒体上线2004 •正式跨入电商行列 •100多个单品 •38名员工 2007 2014 纳斯达克上市 •亚洲一号投入运营 •全品类扩张(4000万SKU) •员工超7万 2020 港交所上市 京东20周年 •员工超56万(疫情3年新增30万) •奔赴下一个20年（35711） 京东20周年的发展历程 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 •港交所二次上市（2020） •京东健康、京东物流上市（2021） •员工超26万 业务规模驱动下的平台演进与组织变革 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 业务规模快速扩张的场景下—— 测试人员如何跟上组织发展的脚步？ 业务发展对测试人员的要求 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 5年前（被动验证者）现在（质量推动者） •业务功能 •组织内部沟通 •执行力 基础能力 业务+软技能 •业务领域 •跨团队协作 •分析、解决、推动 •手工测试 •读懂代码 •自动化小工具 技术素养 技术+工具 •多技术栈、代码能力 •高级自动化平台 •CI/CD、容器化 •单一职能团队 •被动验证者 职责范围 敏捷+DevOps •跨职能团队 •深度参与研发流程 •质量推动者 易用性 拥抱用户体验，屏蔽底层逻辑 高效性 自动化、性能、稳定性 研发效能的“黄金三角” 产品导向+工程卓越数据驱动+实验思维 效能实践 提炼和采纳上下文匹配的DevOps及效能提升实践 效能度量 效能度量数据洞察驱动效能改进和提升 优化完善 准确性 结果准确，可信赖 扩展性 模块化，配置化，易于扩展 自动化+自助化 洞察 沉淀 支撑 效能平台 一站式、一体化效能平台 观测 场景化+生态化 •一站式、一体化平台 •需求/工程价值流联动 •沉淀资产和研发数据 支撑软件交付全生命周期 •场景化串联研发交付活动 •模块化、配置化、插件化 •开放平台能力，生态共建 业务发展对测试平台的要求 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 摘自《软件研发效能权威指南》 平台演进：从野蛮生长到规范统一 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 最佳实践落地 平台能力完善 流程规范统一 工具难以满足业务增长 业务团队适应阶段 自给自足 工具出现瓶颈 效能团队逐步统一工具 开发+测试+效能协作 高 快速提升 质效水平 闭环发展期业务增长期效能平台推广期效能平台成熟期 组织变革：专业性导向的组织变革 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 业务整合 + 关停并转 业务1 开源+自研小工具 测试 开发 业务2 开源+自研小工具 测试 开发 业务3 开源+自研小工具 测试 开发 业务n… 开源+自研小工具 测试 开发 效能研发团队 运维域 测试 开发 测试域 测试 开发 开发域 测试 开发 协作域 测试 开发 业务研发团队 业务… 测试 开发 业务D 测试 开发 业务C 测试 开发 业务B 测试 开发 业务A 测试 开发 一体化DevOps平台 02 测试工具的精品打造 垂直领域精品打造，水平链路高效串联 垂直领域自动化能力DevOps链路能力 效率提升 业务赋能 •中间件、接口自动化，流量录制回放 •UI、云真机测试、移动端自动化 •Hive、CK、ES等数据自动化测试 •打通测试流程管理 •接入测试流水线 •接入部署编排 •自动执行冒烟测试、回归测试 •批量完成云真机兼容性测试 •智能录制、编排，自动监控提报缺陷 •覆盖零售核心业务场景 •支撑零售云业务 •支撑商业化项目 垂直领域精品打造，水平链路高效串联 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 接口自动化UI自动化 场景覆盖：全面覆盖零售业务黄金流程——购物车、结算页、订单、商品、库存、促销、售后等。 横向互联：与测试环境、行云部署、流水线、行云测试管理联动，实现服务端测试场景化互联互通。 项目实践：支持618、双11大促线上巡检。支撑零售云及商业化等项目。 场景覆盖：适用web，H5场景下的回归测试；日常业务监控、自动化bug提报、自动修复验证。 能力优势： •智能录制策略，运行稳定，元素定位准确率95%。 •提供Flow流编排能力，脚本易于组装。 •在线IDE智能提示，实时编译。 垂直领域测试工具的精品打造 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 移动端自动化 场景覆盖：京东全业务场景——直播、活动、首页、搜索等300多种京东核心业务。 云真机覆盖：Android、iOS、鸿蒙等100+云真机，支持批量控制，实现实时交互的同时，提供丰富工具辅助测试。 自动化能力：覆盖率测试、MonkeyTest（APP崩溃）、遍历自动化（UI异常）、异常兜底测试等12项自动化能力。 大数据自动化 场景覆盖：数据完整性、准确性、一致性检查；单表比对、多表比对；规范 检查；业务逻辑测试。 数据源覆盖：Hive、ClickHouse、Elasticsearch、Doris、Druid、MQ、Mysql。 自动化能力：自动化数据探查；SQL规约扫描；单表、多表异常测试及Diff 测试的自动化断言。 垂直领域测试工具的精品打造 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 水平链路研发流程的高效串联 跨环节协作缺失自动化流转，消耗大量线下沟通成本，影响全局效率 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 代码开发 单元测试 资源申请 代码评审 研发自测 待开发 开发中 系统设计 待测试 测试中 测试环境部署 冒烟测试 冒烟测试 功能测试 回归测试 待发布 发布中 上线评审 编译构建 灰度发布 发布编排 线上验证 传统 模式 等待时间 等待时间 开发 测试 上线 水平链路研发流程的高效串联 打通流程断点+优化高频操作 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 提测 准入流水线 创建计划 冒烟测试 功能测试 回归测试 … 测试报告 无流量发布 自动化验证 挂载 流量 （提测流水线可配置） （测试流程节点可配置） （部署编排） 自动化测试原子 流水线测试原子 卡点能力 接口自动化 UI自动化 准入流水线 单测流水线 单测覆盖率 用例通过率 移动端自动化 大数据自动化 回归流水线 … 用例评审 流水线执行结果 （垂直领域原子能力可扩展） 垂直领域扩展 水平链路打通 需求管理 协作空间 代码管理 提测 变更管理 测试管理 部署编排 发布上线 03 多端测试的工程实践 基于场景的测试一站式解决方案 基于场景的测试一站式解决方案 1 自动化链路能力 •研发提测自动触发准入流水线 •部署发布自动触发回归测试 2 自动化原子能力 •自动化原子接入流水线平台 •自动化原子接入部署平台 •功能测试原子能力编排 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 微前端深度融合 自动状态流转 流程断点打通 横向研发链路深度打通 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 沉浸式体验 •微前端组件，深度融合，减少跨平台操作 原子化对接 •提供测试原子能力，实现跨平台的链路自动化 自动状态流转 •工具流自动触发需求流状态变更，无需人工操作 流程断点打通 •流程断点梳理，高频操作一键直达 纵向测试能力持续扩展 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 测试规范化与最佳实践 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 01 服务端自动化 流程规范+原子能力 02 移动端自动化 兼容性+稳定性+Monkey 03 大数据自动化 数据探查+数据比对 服务端自动化测试最佳实践 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 准入阶段（环境部署+准入测试） 提测触发准入：1、测试环境部署2、准入用例执行 测试阶段（多种原子自动化能力） 1、添加执行平台（原子能力） 2、添加相应平台的自动化用例 3、执行用例，自动生成测试结果 发布阶段（部署编排+自动验证） 1、部署编排，实现自动化部署、验证、切流量 2、自动完成摘流量、线上自动化验证、流量恢复 移动端自动化测试最佳实践 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 准入阶段（UI遍历+稳定性） UI遍历自动化：UI异常、弹框异常，支持展示截图。 Monkey自动化：测试崩溃、UI异常。 测试阶段（云真机+兼容性） 云真机测试：原生、小程序、H5；覆盖率测试。 兼容性测试：脚本录制回放；活动页自动化测试。 回归阶段（UI遍历+稳定性+标准兼容性） 回归自动化脚本：创建UI自动化回归测试脚本。 回归测试流水线：UI自动化、稳定性原子编排与执行。 标准兼容性测试：不同设备的兼容适配自动化回归。 大数据自动化测试最佳实践 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 开发完成研发自测发起提测测试中待上线 需求交付阶段 创建计划 手动创建用例 添加用例 从用例库添加 执行用例 自动生成用例 查看执行结果 发送测试报告 以测为主，探为辅 进入数据探查 进入测试计划 输入探查表 执行用例 查看探查结果 查看结果 先探后测 连接数据源，创建探查任务，准备测试用例 准备工作 测试流程 大数据自动化测试最佳实践 数据探查数据测试 单表： •新表研发自测 •线上探查分析 多表： •数据对比 •一致性校验 单数据测试： •单表数据检查 •表规模检查 多数据对比：多表一致性对比检查点：表格式、空值、零值、明细、自定义 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 04 探索方向与未来展望 从自动化走向智能化的探索与展望 目标 路径 工具 质效提升 云原生+AI CI/CD+自动化 +ChatGPT 从自动化到智能化的探索与展望 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 Thanks DevOps时代社区荣誉出品