京东-张爱芸-京东数据测试平台质效建设实践

京东数据测试平台质效建设实践 张爱芸 京东效能平台资深技术产品经理 www.top100summit.com 讲师简介 张爱芸 “京东效能运营研发部资深技术产品经理 2015年加入京东，先后主导过集团大数据平台建设、集团统一AB实验平台、集团统一DevOps平台产品建设，有较丰富的从0-1产品搭建经验。目前主要深耕DevOps测试域效能工具平台（数据测试平台、测试物料平台等），专注于解决测试痛点，提升测试效率 ” 1 目录2 3 4 京东数据测试的演进 从零到一的数测平台建设之路实践成果展示 案例复盘与总结 5探索方向与未来展望 www.top100summit.com 目录1 京东数据测试的演进之路 为什么做 www.top100summit.com 数据测试是什么？ 数据测试是对数据质量、完整性、一致性和准确性等方面进行验证和评估的过程。 测试定义 •数据测试VS大数据测试 测试范围 •数据表 •BI报表 测试内容 易用性测试 •数据测试VS数据质量 •数据接口服务 •数据看板 容错性测试 高可用测试 数据测试 安全性测试 功能测试 性能测试 www.top100summit.com 数据测试与传统测试的区别 业务测试数据测试 •需要掌握软件测试理论 •业务领域知识 人员要求 硬技能 •基本的软件测试理论和实践 •对业务领域知识的了解 •大数据、算法、数据库等知识 人少 •有较多较完善的自动化平台 •软件测试技术，如Selenium等工具和技术 技术+工具 •自动化平台少，多为手动执行SQL测试 任务重 •熟悉编程语言和数据库技术，如python、java、SQL，了解Hadoop等 •软件的业务功能和性能 •有成熟的敏捷和DevOps实践保障 测试重点 对象+流程 •关注数据的质量（完整性、一致性）、及时性等 工作难 •没有标准的测试流程规范 www.top100summit.com 京东数据测试的演进 数据流组织架构 质效水平 数据产品 展示前端 业务C 数据研发 数据测试 登录鉴权 权限控制 展示后端 业务D 数据研发 业务A 数据研发 复合指标 熔断限流 请求转发 展示层 数据服务 数据读取 指标计算 限速限流 统一服务 质效水平服 数据BP 数据研发 务 数据业务 数据研发 层 数据存储 Druid ES CK HBase JIMDB 数据计算 离线计算任务 实时计算任务 数数据中台 据 处数据研发 实时接入 离线抽取 数据抽取 数据测试 理层 物流 金融 其他 健康 零售 生产数据 商城 业务研发 源数据 数据中台 数据研发 数据测试 医疗 业务研发 工具 业建 务设 整合 其他 业务研发 业务发展 www.top100summit.com www.top100summit.com 存在哪些问题？ 现状 人少活多，质量问题频发，很难得到全面的保障 人的问题 •人力资源不足 •经验不足 •专业知识储备不够 •缺少资料学习 •业务理解深度不够 方法的问题 •多靠手动SQL查询，效率低 •个性化的脚本自动化很难赋能所有业务 •测试资产无法沉淀，无法传承 •研发很难自助自测，测试压力大 流程的问题 流程不规范、不统一 •各业务测试流程不统一 •研发与测试合作的流程不规范 www.top100summit.com 破题思路 工欲善其事，必先利其器 目录2 从零到一的数测平台建设 做了什么，解决了什么问题 www.top100summit.com 平台建设思路 线上化自动化标准化服务化（未开始） 目标：所有测试过程可视化，测试资产线上化 举措： 流程线上化——测试计划能力线上化——用例管理 目标：提升测试效率 举措： 测试能力自动化（自动生成用例、自动比对结果等、自动数据探查等） 目标：前人栽树，后人乘凉，建立京东标准的数据测试规范流程 举措： 沉淀最佳实践，打造最佳测试流程 目标：赋能更多平台和业务，全面开花 举措： 将平台能力以服务化方式，接入DataOps或更多平台 www.top100summit.com 全面覆盖数据测试场景，达成自动测、人人测、持续测、尽早测的目标 www.top100summit.com 线上化是平台助力业务提效的第一步——能力线上化 数据源线上化 JimDB 统一管理数据源统一数据查询 线上化是平台助力业务提效的第一步——能力线上化 既支持SQL，又支持脚本 多执行方式 多比对模式 既支持单查询模式，又支持比对模式 不同计划可以执行用例的不同版本 多版本记录 测试用例 语法校验 可自动生成 可以自动生成SQL www.top100summit.com SQL不支持写操作，保障数据安全 www.top100summit.com 线上化是平台助力业务提效的第一步——流程线上化 基础测试全面测试核心测试 www.top100summit.com 自动化是帮助业务提效的重要手段——面向测试 效率低 1、很多的基础用例其实是通用的，重复的（零值、空值、明细比对等） 2、人工比数费“眼”，跨库比对费“劲” 3、脚本各自维护，无法赋能 问题 自动生成 •用例自动生成 自动比对 •单表自动比对 •多表自动比对 自动执行脚本 •支持在线编辑脚本 •支持脚本用例执行 www.top100summit.com 自动化是帮助业务提效的重要手段——面向研发的数据探查 数据开发流程简示图 需求变更 需求调研 模型设计 数据查询/分析 数据开发 数据探查 模型上线 数据比对 模型运维 数据探查 场景： 新模型上线 单表探查： •表规模 •字段质量 数据比对 场景： 模型变更 数据对比： •明细对比 •数据规模对比 •表结构对比 www.top100summit.com 自动化是帮助业务提效的重要手段——面向研发的服务探查 数据看板开发流程简示图 需求变更 需求调研 模型/指标设计 看板搭建 服务探查 看板测试 看板发布 服务探查 场景： 配置化数据看板自测/测试 服务探查： •自动探查各种指标维度 •支持单用例重跑 www.top100summit.com 提测 准入流水线 创建计划 冒烟测试 功能测试 回归测试 … 测试报告 无流量发布 自动化验证 挂载流量 （提测流水线可配置） （测试流程节点可配置） （部署编排） 自动化测试原子 流水线测试原子 卡点能力 接口自动化 UI自动化 准入流水线 单测流水线 单测覆盖率 用例通过率 移动端自动化 数据自动化 回归流水线 … 用例评审 流水线执行结果 （垂直领域原子能力可扩展） 垂直领域扩展 标准化是业务提效的重要保障——全链路测试流程标准化 水平链路打通 需求管理 协作空间 代码管理 提测 变更管理 测试管理 部署编排 发布上线 www.top100summit.com 是什么 让我们在短时间内， 快速完成平台的搭建并顺利落地？ www.top100summit.com 平台建设亮点——模块化的架构设计 www.top100summit.com 平台建设亮点——以用户为中心，用户既是参与者，又是受益者 专业底座建设（初期）——少走弯路 融合各类工具（过程）——取长补短 面向全量用户推广 优先在共建团队赋能推广 分层推广落地（成果）——少受批评 将业务单点的提效工具通用化共建赋能达到价值最大化 平台化思维与专业测试的思想碰撞与业务团队深度共建，效率提升 理念 ：共建共赢 需求提出 能力建设 用平 户台 有些用户会说共建的不是专业的工程师，代码质量会不会不好，时间会不会不能保障？无法长时间投入，后续出BUG怎么办？ 共建原则：5个一（一套代码库、一套数据库、一个产品经理、一个架构师、一个Backup） www.top100summit.com 平台建设过程中遇到的挑战 产品设计要求高 挑战： 业务种类多，测试场景多，对产品能力的通用性、全面性有较高要求 解法： •前期做好充分的调研，保证产品在设计的过程中，尽可能通用，覆盖较多用户的场景 •提供通用的个性化测试能力——脚本 •更为个性的可以采用共建集成的方式接入平台 数据安全要求严 挑战： 平台涉及大量用户数据，也有可能有敏感数据，需要保障数据安全，并符合审计要求 解法： •全面严格的数据权限控制（查看、编辑、执行等），且所有操作均要留痕 •采用加密技术、访问控制等手段，确保数据在传输和存储过程中的安全性。 •定期进行安全审计和漏洞扫描，及时发现并修复潜在的安全风险。 运营推广常受阻 挑战： 用户习惯、平台体验没有做“好”就去推广时，多轮受阻 解法： •深入了解用户需求和行为习惯，优化产品设计和服务流程。 •定期收集用户反馈，及时改进产品和服务。 •借助数据分析，持续优化用户体验，提升用户满意度 目录3 实践成果展示 落地效果如何 www.top100summit.com www.top100summit.com 质量 效率 流程 在零售实现80%的渗透率，测试效率有明 显的提升： •50%的用例自动生成 •60%的用例自动断言，节省验证时间 •数据需求测试周期缩短10% 8 6 4 2 0 2023Q12023Q22023Q32023Q4 数据需求测试周期 效率提升 流程标准化 完成了标准的测试流程、研发自测流程及 定时巡检流程的建设，并成功在集团各个BG试点推广落地 需求线上化率达到60% （需求线上化率=使用线上平台测试的需求数/总提测数据 需求数） 0.8 2023Q1前 2023Q2 0.6 0.4 0.2 0 2023Q1前 2023Q2 2023Q3 2023Q4 近半年发现问题近100个 质量保障 实践成果展示 目录4 案例复盘与总结 总结与经验 www.top100summit.com 案例总结 基础能力（数据源连通） MYSQL CK ES HIVE JED TiDB JimDB Doris Druid 数据查询 查询模版 执行结果 执行历史 代码检查 SQL扫描 规则沉淀 数据探查 单表探查 数据对比 研发自测 服务探查 路由探测 用例管理 单查模式 对比模式 计划管理 用例执行 测试报告 变量管理 系统变量 自定义变量 脚本管理 Python 压测助手 任务管理 shell 压测报告 研发、产品测试（核心）产、研、测 能 赋测试左移赋能 过提高提测质量+提高自测效率 程 测试提效 提高测试效率+降低测试成本 测试右移赋能 降低线上问题率+提高数据质量 定时巡检监控报警质量报告 数据构造手动构造定时构造 业务能力建设 需求 阶模型开发研发自测 段 功能测试 回归测试 巡检监控 www.top100summit.com 那些年踩过的坑 生成引擎对数据库的兼容性 执行引擎负责平台提交的各类型数据库查询语句的统一执行及结果的返回，这里也曾经遇到过一些问题，比较严重的，就是因为数据量过大导致了服务异常 执行引擎的稳定可靠 www.top100summit.com 生成引擎负责生成一些通用检查点的SQL，同时也会基于用户提交的SQL，生成对应的测试用例，用户使用过程初期有几个问题：1、不同数据库类型，有些函数不兼容，要采用不同的策略进行处理 2、不同数据库类型，有各自复杂的字段类 型，很难统一处理 解法： 1、平台增加查询数据量的限制 2、超过一定阈值后，平台采用文件的方式传输 解法： 充分调研之后，对不同的字段类型、用到的函数进行精细化处理 启示：细节决定成败 目录5 探索方向与未来规划 www.top100summit.com 未来计划 用户体验打磨 平台尚年轻，还需多磨练 AI智能赋能 数据与AI仅一步之遥，如何用好AI这把利剑，提升测试效率，需要深入探索 深耕数据安全