众安-董俊秋-借助大模型实现工程师自驱式质量运营管理，助力业务线实现质效全面提升

借助大模型实现工程师自驱式质量运营管理助力业务线实现质效全面提升 董俊秋众安质量管理团队负责人 讲师简介 “ 董俊秋 众安质量管理团队负责人 CMMI软件成熟度评估师、ScrumMaster、EPG过程改进专家、云从业者曾任腾讯高级质量管理工程师、中兴智慧城市质量经理 涉及行业：ToB、ToC、云产品、金融、医疗、教育、通讯、人工智能 ” 擅长领域：度量分析、质量建模、过程改进、研发效能度量 www.top100summit.com www.top100summit.com 亮点介绍 【内容亮点】 全面解读0-1的质效搭建历程，为企业提供质 效度量探索及北极星指标的建设思路 通过落地案例的实操呈现为企业提供可借鉴和可复用的质效提升相关经验 首次揭秘智能质效管理平台的搭建全过程，包含亮点功能：智能分诊、智能诊断等 【业务价值】 合作方满意度：树立QA团队口碑、打造影响力成本控制：为企业大大节省了质量运营成本 产品品牌形象：通过质效全过程的心跳监控， 帮助提前识别质效风险，确保产品交付质量，提升客户整体满意度 www.top100summit.com 目录 问题：常⻅质量运营问题及质量管理痛点 解法：建体系→做度量→数据洞察→质效诊断 实践：质效度量体系建设、质量落地运营、智能质效管理平台成果：短期收益、长期收益 未来：自驱式质量运营管理 www.top100summit.com 问题 软件研发流程的数字化程度越来越高 面临devops、提效、数字化转型、变革时期 如何判断转型的好与坏？ 主观判断？缺少抓手？缺少数据支撑？ 指标太多了，搭建成本高且没有发挥价值 过度关注数据本身导致适得其反指标并没有带来改进的牵引作用数据的可信度不高 www.top100summit.com 建体系做度量数据洞察质效诊断 【指标设计】 • 指标没有指向性 【数据准确性】 •采集路径口径不一致 •业务线不认可采集方式/路径 【指标运用、数据分析】 • • 不知道指标怎么运用 纯数据晾晒，没有质量建议、下钻分析等 【质效指标建设】 • 优先梳理并对齐北极星指标 【采集路径对齐】 • • 梳理度量采集表，所有指标的详细采集路径一定要充分对齐 选择试点业务线，试运行成功后再大范围 推广 【质效度量诊断】 • • 启动下钻分析及质效诊断(共性问题下钻分析及结论) 质量课程赋能：指标的价值意义解读、指 标使用，如何通过指标改进提升 【业务线A】 •指标太多太泛，大几十个，看不到重点，不聚焦 •指标不是我们想要的，所以我们自己搭建了数据采集平台 【业务线B】 •数据没有分析结论，看完不知道要做什么 •很多结果指标里未完结的阶段性数据也统 计进去 【QA组】 •数据遭到挑战，业务线多次在质量会议上质疑数据的准确性 解法 调研现状 根因分析 实施改进 www.top100summit.com 解法 质效度量体系建设 质量落地运营 智能质效管理平台 重点考虑企业当前现状的适配性 指标的落地运用，充分发挥指标的价值及意义 借助大模型如何助力质效提升的思考及探索 建体系做度量数据洞察质效诊断 www.top100summit.com 实践01-质效度量体系建设 实践01-质效度量体系建设 需求阶段开发阶段测试阶段发布阶段 现网 线上质量管理 研发过程质量管理 需求评审通过冒烟通过测试通过发布成功 质量 研发管理体系质量左移保障流程事件跟踪体系 流程体系搭建 建立质量影响力 提升全员质量意识 过程质量可视化 故障管理自动化 引领性 滞后性 指标牵引0到1的突破 奖惩分明敬畏生产 线上问题有效闭环 质量运营 常规质量活动：质量周报、质量月报、质量会议质量赋能：质量大课堂、质量知识竞赛、质量奖 工具平台建设 项目管理平台(JIRA)DevOps平台 事件管理平台(故障台) 度量平台(SpaceX) 度量 引领性指标滞后性指标(结果性指标) 指标牵引 www.top100summit.com 实践01-质效度量体系建设 线上管理研发过程管理 工具自动化度量可视化 快速分诊智能质效诊断 搭建线上管理流程体系 引入线上管理工具 启动线上度量分析(质效) 搭建研发过程管理体系 引入研发过程管理工具 实现自助化质效诊断 打造自驱式质量管理 启动研发过程度量分析(质效) 建立度量可视化平台 www.top100summit.com 2020202120222023 正式上线 实践01-质效度量体系建设 确定度量目标北极星指标建设 统计口径评审 业务线试点 www.top100summit.com •软件成熟度，所处阶段 •度量成本和预期 •度量效果评估者的视角 •度量实施的复杂度 北极星指标 交付价值 产品价值达成率客户满意度 交付速率 需求吞吐量(流速率) 产研交付周期缺陷修复周期 (致命严重、一般、轻微) 交付质量 故障数系统可用性平均故障恢复时长逃逸率 www.top100summit.com 实践02-质量落地运营 www.top100summit.com 趋势分析、环比分析、异常预警、诊断建议、改进效果 质效分析报告 实践02-质量落地运营 下钻分析前端APP团队后端某一级域迭代质量下钻分析 数据处理 数据采集数据聚合数据清洗数据复核 实践02-质量落地运营 线上质效 定 诊 位迭代质效 断 团队质效 质效数据看板趋势环比同期比 低健康度预警诊断建议 改进效果呈现 www.top100summit.com 实践02-质量落地运营 问题来了？？？ www.top100summit.com 样例：业务线(某中大型规模业务线，150+研发人力)、质量运营人员(中级或高级) 人力投入：10-12人日/月(工作日) •数据采集处理：4-5人日/月 •下钻分析：4-5人日/月 •编写诊断报告：1.5人日/月 •召开质量会议：0.5人日/人月 数据准确性：95%+-(高级工程师)、90%+-(中级工程师) 报告时效性：每月15日输出上个月质效报告 投入成本高 10-12人日/月 数据准确性难以保证 90%+- 报告存在滞后性 数据复核群各团队下钻分析群(APP)各团队下钻分析群(后端某一级域)迭代质量下钻分析群 每月15日 www.top100summit.com 实践03-智能质效管理平台 实践 03-智能质效管理平台 www.top100summit.com 质效管理平台 【趋势观测】 支持数据环比、数据同期比，可实时观察研发全过程走向及趋势 【追根溯源】 支持数据下钻，实现一键追溯原始数据，精准定位异常数据 【指标自助】 针对不同的关注重点，提供指标自配功能，所有复合指标均可自由定制 【风险预测】 实时监测质效心跳，实现质量风险预警，质量异常推送 实践 03-智能质效管理平台 www.top100summit.com 质效管理平台 •分析维度：迭代、业务线、一级域 【趋势观测】支持数据环比、数据同期比，可实时观察研发全过程走向及趋势 【追根溯源】支持数据下钻，实现一键追溯原始数据，精准定位异常数据 【指标自助】针对不同的关注重点，提供指标自配功能，所有复合指标均可自由定制 【风险预测】实时监测质效心跳，实现质量风险预警，质量异常推送 •常用角色：PM、一级域leader、一线工程师 故障台 【趋势观测】支持数据环比、数据同期比，可实时观察研发全过程走向及趋势 【追根溯源】支持数据下钻，实现一键追溯原始数据，精准定位异常数据 【指标自助】针对不同的关注重点，提供指标自配功能，所有复合指标均可自由定制 【风险预测】实时监测质效心跳，实现质量风险预警，质量异常推送 •分析维度：迭代、业务线、一级域 •常用角色：PM、一级域leader、一线工程师 JIRA 实践 03-智能质效管理平台 www.top100summit.com 质效管理平台 实践 03-智能质效管理平台 www.top100summit.com 质效管理平台 【趋势观测】支持数据环比、数据同期比，可实时观察研发全过程走向及趋势【追根溯源】支持数据下钻，实现一键追溯原始数据，精准定位异常数据 【指标自助】针对不同的关注重点，提供指标自配功能，所有复合指标均可自由定制 【风险预测】实时监测质效心跳，实现质量风险预警，质量异常推送 •常用场景：多业务线，可根据不同业务线的成熟度进行指标的裁剪优化 实践 03-智能质效管理平台 www.top100summit.com 效能指标【生产问题处理时长】 质效管理平台 【趋势观测】支持数据环比、数据同期比，可实时观察研发全过程走向及趋势【追根溯源】支持数据下钻，实现一键追溯原始数据，精准定位异常数据 【指标自助】针对不同的关注重点，提供指标自配功能，所有复合指标均可自由定制 【风险预测】实时监测质效心跳，实现质量风险预警，质量异常推送 质量指标【集成异常】 实践03-智能质效管理平台 应用场景一：过程风险预警 应用场景二：质效简报 应用场景三：智能诊断 快速分诊 系统自动化对指标数据扫描检查 高健康度中健康度 低健康度 诊断建议 经验沉淀轻量建议团队复盘 数据分析 人工诊断 定制改进方案 改进效果 评估 健康度分级、健康度检查 www.top100summit.com 指标项 指标定义 健康度分级 自动检查频率 高 中 低 需求交付周期 需求从等待KT至需求发布上线的时间周期 ＜10个工作日 ＞＝10个工作日＜＝15个工作日 ＞15个工作日 迭代/次 产研交付周期 研发启动需求开发至需求发布上线的时间周期 ＜8个工作日 ＞＝8个工作日 ＜＝12个工作日 ＞12个工作日 迭代/次 集成异常 1）单次/人提交峰值超过1K行2）单日/人集成次数超过3次 代码行＜集成次数=1次 待评估 代码行＞1K集成次数＞3次 天/次 线上逃逸率 生产环境出现的问题数(含故障)/线上线上有效问题总数 ＜1% ＞＝1%＜＝3% ＞3% 迭代/次月度/次 线上缺陷密度 统计周期内，生产环境出现的问题数(含故障)/交付上线的需求数 待评估 待评估 ＞5% 迭代/次月度/次 www.top100summit.com 实践03-智能质效管理平台 应用场景一：过程风险预警 •心跳异常预警 应用场景二：质效简报 应用场景三：智能诊断 •问题升级 提示词(示例) 你是一位质量诊断工程师，你需要对以下指标进行健康度扫描，并输出健康度报告。 步骤一： 对“单次变更代码行”、“提交次数”数据进行扫描，记录如下2类数据： 1、每个提交人每次提交大于或等于1000行； 2、每个提交人每天提交次数累计大于或等于3次。步骤二： 进行判断，判断原则如下： 1、如果单次变更代码行大于或等于1000行，请判断为：异常。 2、如果每个提交人每天提交次数累计大于或等于3次，请判断为：异常步骤三： 输出判断结果，“异常”或者“正常”。 请注意，你只需要输出“异常”或者“正常”，不需要输出思考过程。 健康度级别 规则 上升机制 异常推送范围 推送方式 高 健康度分级表 异常处理人、QA、PM 邮件推送群提醒 直属leader/ 所在一级域架构师、QA、PM 中低 业务线研发总监、运维总监、QA、PM 实践03-智能质效管理平台 •全局诊断 •数据聚合 •趋势环比、同期比 www.top100summit.com 应用场景一：过程风险预警 应用场景二：质效简报 应用场景三：智能诊断 质效概述简报 提示词(示例) 你是一位软件质量诊断工程师，需要你结合质效度量数据，输出质效概述简报。简报的时间范围是自然月。简报的内容