杨舒童-质量原生：原生转型背景下的大型金融组织 QA 闭环体系

质量原生——云原生转型背景下的大型金融组织QA闭环体系 杨舒童质量管理组经理 拥有金融，it互联网，游戏，外企多家多领域质量管理经验。现任平安银行金融科技部云计算团队质量管理组经理。 在质量管理体系化建设，数字化，自动化，效能提升等方面有丰富的实践经验。 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 01云原生体系下银行质量管理的新挑战 Content 02云原生体系下QA本质思考与任务拆解 目录03 质量管理自动化与数字化 04云原生体系下的质量闭环管理设计 05质量文化建设 01 云原生体系下银行质量管理的新挑战 突破交付效率的瓶颈 技术体系 提高业务服务能力 业务应用全面云原生 技术底座全面云原生 硬工程能力全面升级 软件工程能力全面升级 保持系统高稳定性 工程体系 提升团队技术能力 全面云原⽣，技术⼯程体系 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 更敏捷创新更稳定运行更高效复用更专业领先 全面云原⽣，⼯程技术提升 高性能 框架下沉 高可用 高质量 云原生平台基础能力提升 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 更安全 01 业务应用全面云原生 去O、容器化、微服务改造、ServiceMesh、单元化 04 技术底座全面云原生 技术中台、安全平台、基础架构 全面适配支持云原生 新挑战 硬工程能力全面升级 02 技术中台、安全平台、基础架构 全面适配支持云原生 03 软工程能力全面升级 人才升级、文化升级、创新升级 全面云原⽣，⼯程技术新挑战 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 质量挑战 杜绝生产事件 生产事件易发测试缺陷增加生产缺陷增加 提升代码质量 代码质量低研发效率低测试效率低 追求卓越规范 云原生架构规范云原生应用规范云原生治理规范 合理指标体系 指标单一且冗杂指标层级不清晰指标定义流程复杂 保证安全合规 安全漏洞增加产品合规性降低 研发流程合规性降低 全面云原⽣，质量管理新挑战 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 02 云原生体系下QA本质思考与任务拆解 质量原生： 不是一板一眼的软件会计 而是不断计算、权衡，调整，依靠策略不断取得胜利的德州扑克牌手 质量体系 简单质量保障体系 体系指标体系质量能力 组织级+团队 团队 组织级+团队 质量文化 单一多元化 文化创新化 从单体到组织，从点到面，实现质量原⽣ 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 02 【质量控制】 1）质量相关制度规范及流程基线按标准化执行及落地 2）质量相关包括但不限于用户事件、 故障及缺陷、安全等工作的跟踪、复盘及过程改进 01 【质量改进】04 质量相关专项治理及整改 【质量保证】 1.质量数据汇总、分析及持续改进 2.质量检测 03 【质量运营】 质量运营活动组织及跟进（包括但不限于竞赛、评优、培训等活动） 质量管理岗位职责 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 统⼀推动组织，⼀个决策⼤脑 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 各自管理、各自为栈单体作战 01 质量技术委员会 1 02 工程技术管理 2 3 03 架构技术委员会 组织与协同模式 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 •EPG：统筹流程与 ⼯程规范的定义与 完善 工程效能 效率·质量·安全 • • ⼯程治理：推⼴⼯程实践与⼯程治理技术传播：新技术 新流程新理念 •QA：质量保障有效性检查，推动持续改 进 ⼯程效能⼯作协作 •建立规范：软件⼯程技术规范/标准、防范研发活动技术风险 •规范实施度量评价：⼯程活动执⾏数据度量，每月公布检视 •Starlink平台赋能，打造标准化、规范化研发过程，落地⼯程规范 •效能实践：推动技术⼯程成熟度提升，QA推动质量保障 质量体系建设，拓展质量管理深度、⼴度，加强质量能⼒打造 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 质量体系 深度、广度 质量能力 ⾦融云原⽣质量体系 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 质量监控（数据+告警） 安全合规体系 质量活动 质量工具 质量流程 拥抱变化，应对云原生的复杂度和不可预测的挑战 文化（一切变化中不变的根基） 质量保障体系 质量保障体系专项质量类7⼤项目建设 坚守质量底线 质量保障体系 追求卓越⼯程、实现质效合⼀ 支撑业务发展 目标 A容错平台 质量管理 指导⽂件 实施规范指南 流程、规范检查⽂ 件 效果评价指南 配套支撑 B非功能测试平台Asta 检验 需求质量验证 数据/账务核 对 测试验证 错误日志 响应 应急响应与处置 故障转移 容错降级 监控预警 数字化 平台化 质量技术 监测 账务核对/测试指标分 监测析 问题关联分环境巡检 析 预防 链路压测/混沌⼯程/ 性能回放故障模拟 安全测试兼容性测试 ⼈与组织软件测试测试开发质量保障质量技术 B自动化测试平台Atuoman 重点举措 B流量回放平台 账务核对平台 B 质量运营 问题与定 责 根因分析 持续反馈 质量⽂化 ⼈员技能 培养 质量体系 成熟度 能⼒沉淀赋能创新 管理体系技术体系运⾏体系 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 质量服务升级 B 质量看板 B 质量保障：深度、⼴度 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 业务影响 * 解耦 依赖+应用解耦 灰度 网关+全链路灰度 全链路 监控 双活 同城双活 熔断 自愈 窗口 应用等级+窗口调整 影响面 * 方案 评审 流程 规范 测试 需求评审 设计评审安全评审测试评审 发布评审 预防 监控 应用监控+业务监控+监控大盘+质量监控 发现 告警 生产时间处理+监控 案例+ 缺陷 变更大 屏 环境 配置 解决 应急响应 措施+值班 降级 应用降级机制 权限 开关 Devops平台 开墙 提前准备项 回滚 降级 影响时长 发生概率 恢复 定位 = 质量指标的不⾜与挑战 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 对标领先者 指标单一且冗杂 指标层级不清晰 指标定义流程复杂 数据度量问题 每个领域指标多，但不全面且相互冗杂重复 指标冗杂导致缺少优先级，重要性 指标定义流程长，耗时长 手工且数据准确性不高 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 质量指标体系 质量指标体系分层分级 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 分层分级 告别指标冗杂，将指标更清晰的呈现，按照实际情况，自由度高 01 02 03 04 一级指标 二级指标 三级指标 四级指标 组织级 组织级 （外部关注如集团，监管，风险） 团队级 （外部团队关注观察性指标） 团队级 （团队自定义及上级识别的关联性指标） 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 质量指标体系定义与执⾏流程 三统 二建 一优 质量持续改进统一 质量文化的统一 质量文化及月报统一 质量月报统一输出 质量指标统一 各管理领域包括安全、测试、运营等指标统一管理 质量流程规范统一制定与修订 质量共性问题识别及持续改进 代码交叉评审能力建设 实现单元测试能力的建设，覆盖率达到组织要求标准 单元测试能力建设 实现架构AB类应用交叉评审能力建设 管理机制 开展团队质量管理“红、黄、蓝牌”检视机制，促进质量。提升，降低版本风险 以打造质量能力为基础，通过“三统、二建、一优”,支撑质量体系。 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 云原⽣安全合规 安全治理 •SOP应用安全漏洞治理 •SOP开源软件漏洞治理 •Fortify专项治理 •人工安全测试专项 合规治理 •重大合规专项治理： •SOP合规事项 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 安全平台 •支持全行子系统完成国密改造 •建设密钥管理、策略发布等功能，支持数据库敏感字段加密 03 质量管理自动化与数字化 一切用真数据说话 高度智能化 极致的客户体验 效能平台 全面融入数字生态 以“数字自动化为质量提升做保障”为中⼼ 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 集团/外部 其他团队 研发团队分组经理项目经理/测试经理 质量管理人员 （EPG/QA/PMO） 管理者（CIO/CTO/二级部门团队长） 面向用户 API 展现层管理驾驶舱研发数字化个人仪表盘质量管理项目报告移动端 数跳据转关 联 数分据析关 联 层级定位 数据下钻 自定义模板 多维度统计 数据预处理 实时数据 实自数数分 智工 成 AI T+O 处 义 分关 能 应用层时定据据析 能 智能程 像师 能建 理 力 能力 需求开发 层联 能能力 力力 度分 析熟 预警预测 流程分析 效能分析 测试部署项目 分议画 析 人力考勤 基础层 需求交付时效 需求数量/状态分布 交付吞吐量 需求阶段停留时长 代码提交频率 代码评审通过率 有效代码行数 代码构建频率/时长 自动化测试覆盖率 自动化测试通过率 缺陷密度 缺陷修复时长 部署频率/时长 部署成功率 运维 生产缺陷数量 项目进度 项目风险 项目成本 项目质量 登录平台时长 各工具模块 停留时间 各工具模块活动记录 ……………… 故障恢复时间 ………… 数据源 需求管理代码仓库部署管理测试管理版本管理生产运维系统…… 项目管理代码扫描流水线管理缺陷管理运维控制台其他对接系统 质效⼤盘架构 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 质量域⼤盘 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 质量域大盘 •度量集：支持自主定义核⼼质量指标，团队质量成绩⼀目了然。 •指标卡篇：支持不同分析场景、不同分析需求的指标展示与数据分析、业务、需求、研发、测试、版本、数据库，不管什么角 ⾊，总有⼀款适合你。 度量预警系统 •度量预警：灵活配置团队质量预警尺度、质量问题精准送达、处理现任⼀步。 •数据变更申请：提供快捷质量域指标关联数据变更与⿊名单申请、简化流程、提⾼效率。 •问题追溯：打通问题管理系统，预警、变更及质量问题统⼀管理，形成质量闭环，驱动业务价值呈现。 数字化 自动化 质量效能域大盘 质量数据质量报告 以“数字自动化 为质量提升做保障”为中心 异常预警 健康度评级 问题追溯 质量域⼤盘 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 04 云原生体系下的质量闭环管理设计 30 质量闭环管理 领域专家 部门负责人 研发经理 一线研发 质量改进复盘、行动、验证 质量诊断&分析 设计分析模型 质量评估结果 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 平台 用户对象 质量大盘 数字化看板自定义看板 度量预警 多维度聚合 多条件筛选 明细下钻 研发耗时 需求全链路追踪 专项分析 重要系统 产 品 产品专家 工程教练 QA 经验沉淀 价值流交付模型 交付周吞吐 期量 指标健康度 模型 流分布流负载 工程师效能质量模型 代码贡献 代码质 量 应用健康度模型 自动化测试/单测覆盖率 质量改进运作 模式 公司级研发效能度量分析模型 度量体系 代码质 量 发布质 量 构建效 率 代码评 审 技能标 签 流效 率 质量安 全 …… 采集方式 指标