卞凤杰-申万宏源业务中台质量探索与实践

申万宏源业务中台质量探索与实践 卞凤杰申万宏源 请替换您的照片 卞凤杰质量控制部资深测试专家 质量控制部资深测试专家，曾就职于携程、饿了么等大型互联网公司， 拥有丰富的软件测试和测试管理经验。从2022年1月份加入申万宏源证券以来致力于搭建申万宏源持续测试体系，2023年带领中台测试团队和研发团队一起通过了信通院的研发运营一体化(DevOps)能力成熟度模型持续交付和持续测试的三级认证以及安全及风险管理得2级认证，同时还获得2023年度中国国际服务贸易交易会企业数字化转型论坛“数智影响力”优秀案例奖、2023XOps“领新杯”“交付质量内控基石案例”等多个奖项。 01申万宏源业务中台相关背景介绍 contents 目02申万宏源业务中台测试的探索和实践 录03收益和后续展望 PART01 •申万宏源业务中台相关背景介绍 GOPS全球运维大会2024·深圳站 项目背景 客户 H5H/P5C/网PC站 开开户户AAPPPP 大赢大家赢A家PP VTM 定制渠道11 定制渠道22 定定制制渠渠道道…… HH55//PPCC服务端 服务端 开户服务端 开户服务端 VTM服务端 服务端 专属服务端1 专属服务端1 专属服务端2 专属服务端2 专属服务端… 专属服务端… 业务中台 短信 语音 营销 账户 平台 短信 平台 外呼 语音 外呼 CRM CRM 视频 审核 人脸 数据 产品 引流 营销 引流 中登 中登 服务 视频 服务 审核 中心 中心 账户 系统 系统 人脸 识别 识别 数据 中心 中心 产品 中心 中心 技术架构 研发协同 敏捷项目 开发框架 微服务类低代码类 API网关 中间件 运维 Gateway日志 管理研发效能 流水线 应用 立项Pipeline 需求API商店开发规范 模板工程 代码 任务 流程引擎类管理后台类移动APP类CMS类 测试平台 微服务框架 Server 认证中心注册中心 监控中心配置中心 PaaS中间件 kettle 代码仓库静态检查 缺陷包管理 测试 制品库 造数平台压力测试 容器云平台 UI自动化 接口自动化 监控 数据库 迭代 版本 里程碑 用例管理接口自动化性能测试UI自动化 发布 配置管理环境管理发布管理 监控代理 日志代理 Master 网络存储 开发环境 测试环境 生产环境报警 Nodes GOPS全球运维大会2024·深圳站 PART02 •申万宏源业务中台测试 •的探索和实践 测试的痛点 没有对非功能问题展开相关测试 变更不受控 缺少业务核心指标监控，导致无法判断和评估 单元测试缺失，断言有效性无法保障，测试用例设计遗漏 缺乏统一的测试数据管理 高可用的实际效果； 没有团队级代码质量规约 度量与反馈缺失 自动化部署配置没有纳入版本控制 没有代码质量检查 没有测试分层策略、接口测试、测试脚本梳理 探索实践 质量 需求开发测试运维 •清晰明确•严谨规范•细致全面•稳定可靠 可视化透明化标准化流程化自动化 高效的平台支持 完善的制度流程 应用发布环境管理版本管理变更管理应用市场主机部署K8S部署 协同 实时进度 敏捷协同 统一认证 版本流转 缺陷流转 考核度量 环境管理 发布部署 DevOps平台 平台工具 OA 工作项管理项目管理计划跟踪流程引擎测试管理 代码托管配置管理代码评审分支流程 CloudIDE开发环境远程调试插件丰富 代码扫描质量分析统计报告规则管理 云端编辑构建加速任务编排动态调度插件中心模板中心数据度量 制品管理制品私服依赖代理制品扫描 应用发布环境管理版本管理变更管理应用市场主机部署K8S部署 机器管理资源监控作业中心脚本管理文件分发 Wiki文档Office文档在线编辑版本管理 能力地图度量分析统计报表智能分析 S VFT 开发阶段 任务管理 敏捷看板 测试管理 代码管理 代码检查 手工测试 持续集成 版本管理 UI测试 文档管理 自动化回归 组织协同 高效流转规范统一持续集成严格把关全程可视化自动度量持续优化 业务部门项目经理研发经理开发人员测试人员质量人员安全人员运维人员…… DevOps 制度流程 生产运维阶段 变更管理部署验证统一监控安全审计 测试验收阶段 测试管理集成测试压力测试自动化回归 需求阶段 需求评审 需求流转需求拆分 持续测试体系 持续测试体系 需求阶段测试开发阶段测试集成阶段测试验收阶段测试生产发布 持续监控 UAT测试 安全测试 测试设计 需求评审 测试评审冒烟测试 代码扫码 线上测试 业务验收测试 故障注入测试 测试计划 代码评审 自动化用例转换 集成测试 用例设计和编写 单元测试 性能测试 回归测试 测试用例设计左移 自动化低成本高效编写 新老功能用例高频自动化持续验证 DevOps平台 测试管理平台 自动化测试平台 数据管理平台 性能测试平台 故障注入平台 持续测试效能度量 度量指标 度量可视化 度量反馈 趋势分析 工程师画像 持续反馈 质量门禁 研发改进 质量分析 缺陷管理 测试报告 业务中台研发测试流程 接口自动化规范 1、造数平台接口供数2、场景元件化 测试数据由造数平台供数高效提供测试所需正确数据兼具数据可回收机制 组件化的形式搭建用例 减少用例重复编写相同步骤成本通用业务逻辑发生改变，无需逐个用例重复修改等 3、数据驱动4、数据强校验 数据与脚本分离化 在用例内直接使用数据集 场景包括功能场景、异常情况、安全、性能等 响应、出参与数据源强校验保证接口连通性外 需校验出参数据唯一性、正确性 质量门禁 门禁说明 门禁设置 放行机制 代码扫描 增量扫描策略，对代码的规范进行扫描 代码规范问题<1代码缺陷问题<1 紧急版本可以适当放行，后续以技术栈的形式修复 安全扫描 CI阶段对代码进行安全扫描,统计风险等级和风险数量 超危、高危漏洞<10，中危漏洞<=500低危漏洞<=100 紧急版本可以适当放行，后续以技术栈的形式修复 单元测试 CI阶段对代码进行单元测试覆盖率扫描 行覆盖率达>=55%分支覆盖率>=40% 紧急版本或者修复生产紧急问题可跳过单元测试 冒烟测试 版本提测前SIT环境执行，用例范围测试人员在开发编码阶段针对新功能编写的接口自动化脚本的集合，主要覆盖核心功能和主链路 100% 紧急版本或者参数版本可跳过冒烟测试 代码覆盖率 UAT阶段功能测试完成后执行 增量覆盖率>=80% 紧急版本或者参数版本可跳过冒烟测试 集成测试 UAT阶段执行，冒烟测试用例的基础上继续扩展测试范围，充分覆盖基本功能和核心功能等 100% 参数版本可跳过 回归测试 UAT阶段执行，回归线上已有场景 95% 参数版本可跳过 验收测试 UAT环境执行，业务方提供验收文档 无验收报告版本无法准� 参数版本可跳过 性能测试 性能环境执行 测试结论PASS版本方可准� 参数版本或者版本无性能测试需求可跳过 准入准出体系 实践展示 DevOps平台 集成交付 接口自动化用例 度量系统 GOPS全球运维大会2024·深圳站 PART03 •收益和后续展望 收益-团队 造数平台提供80%的测试数据 2/3的缺陷被闭环在开发阶段 项目接口自动化覆盖率几乎100% 质量门禁拦截问题版本准确率达90% 全流程回归效率10min左右 需求交付时长提升3.5倍 收益-个人 效率层面 自动化自动识别百余个缺陷 回归效率由h级提升s级 实现项目需求全面自动化 赋能层面 效率 赋能 可持续 技术 自主实现测试方案，反向约束代码质量 向开发赋能，测试人员自身价值提升 实现自动化由0到1，实现提测后秒级自动化响应 可持续层面 日常输出沉淀性文档积累测试资产，资源共享 整理汇总遇到问题、项目痛点优化项目流程，提升测试思考能力 技术层面 不断提升自身接口测试设计编排能力 测试能力提升（安全、性能、故障注入） 展望 质量是大家的事 理念：开发、测试、运维不分家，持续做好协同，践行“质量一盘棋”的理念 推广：推广中台相关的工具、方法、实践。“独乐乐不如众乐乐” 质量是体系的事 质量是持续的事 工具：细化、完善各类开发框架、测试方法及通用研发测试工具，提高复用度，减少设计及开发测试工作量 最佳实践：整理完善各类标准、规范及最佳实践 更深入：推进精准测试等平台、理念的落地实施。 更低成本：细化、完善代码扫描规则、安全检测规则、接口自动化等，降低管理成本 更扩展：性能专项、安全测试、代码覆盖率等 Thanks 高效运维社区DevOps时代 荣誉出品 THANKS 感谢大家观看