刘晓玲-TMMi

中国DevOps社区峰会2023·广州 TMMi如何助力企业质效兼得？ 刘晓玲新华三技术顾问 信息科技的挑战 卷！ 信息科技驱动业务！ 质效兼得，又快又好！ 个人企业测试 目录 1 2 TMMi是聚焦于组织测试能力体系建设的国际标准TMMi助力企业建设标准测试体系，提升研发效能 3TMMi实施需要注重管理体系与工具和技术实践的结合 刘晓玲 新华三技术顾问咨询 新华三技术顾问，南开大学MBA，TMMi主任评估师，ISTQB授权讲师，ExinDevOpsMaster授权讲师，同时具备ITIL中级认证。IT从业经验20年，具有多年开发、测试和运维经验。热爱咨询，喜欢参加社区活动。 TMMi是聚焦于组织测试能力体系建设的国际标准 TMMi标准的定位 TMMi测试成熟度模型 TMMi实施的行业现状 TMMi标准的定位 千人规模的测试中心，测试项目过程如何管理？ IT定位 IT组织架构与职责 IT架构 执行 信息科技风险管理 信息安全管理 软件开发和测试 构建测试管理体系， 关注测试过程执行 TMMi 测试过程改进模型 管理 研发管理数据中心信息系统 运行 TMMi的16个过程域 TMMi测试成熟度模型 TMMi 全称：TestMaturityModelIntegration 即：测试成熟度模型集成，共分5个级别，由TMMi基金会全球发布，是针对测试领域的国际团队标准。 TMMi基金会 2007年成立于爱尔兰 为全球各行业提供质量标准国际性的权威组织 TMMi过程改进模型 TMMi分为5个级别 TMMi的行业现状 全球现状 认证企业数量发展 TMMi全球会员：2724 国内现状 软件服务 运营商 金融 芯片设计 信息技术 互联网 保险 航空 科技 军工 证券 汽车 TMMi认证组织数量：258国内认证组织数量：100 124家企业通过认证，金融企业最多，国有六大行全部通过认证TMMi-P认证数量：1498 TMMi助力企业建设标准测试体系，提升研发效能 TMMi与ISTQB融合规范测试执行过程 TMMi与软件质量管理融合提升产品质量 TMMi与敏捷融合提升测试效率 TMMi实施过程 01 03 差距分析与制定计划体系试点反馈 •通过人员访谈和证据收集，定位测试组织当前的差距 •结合TMMi过程域总结差距 •确定综合测试能力提升目标和实施计划 •选择不同类型的项目进行体系试点 •协助客户测试团队解决试点过程中的问题 •依据反馈对测试体系及配套流程进行修订 02 实施测试过程改进 •改进小组依据过程改进计划实施改进 •在改进的过程中实现知识转移 •确保测试改进成果始终符合客户需要并且可落地 开展正式评估 1 2 3 04 TMMi PA2.F PA2.F PA2.F •执行TMMi正式评估（根据评估范围） •向利益相关方汇报项目试点成果 •向TMMi基金会提交评估材料并获得证书 TMMi与ISTQB融合规范测试执行过程 如何规范测试执行过程，提升测试效率和质量？ PA2.4测试设计与执行PA3.1测试组织PA3.2测试培训方案 测试用例评审 测试执行 测试监督与控制 测试分析报告 测试数据准备 测试用例编写 制定测试计划 测试需求分析 •关注测试过程执行规范性 •关注测试人员职业发展和能力培养 •关注测试组织的培训能力建设 •关注测试外包风险管理 TMMi与软件质量管理融合提升产品质量 质量控制 如何提高产品质量，增加企业竞争力？ 软件质量评价和分析机制 度量 质量基线和控制模型 PA5.2 需求质量 研发质量 测试质量 线上质量 质量策划 质量控制 劣质成本 质量控制原区 质量改进 分析 回顾 改进 经验教训质量改进新区 TMMi与敏捷融合提升测试效率 •测试与研发深度融合 •测试工艺转变 •工程实践提升 测试生命周期与集成 Scrum研发模式 独立测试和生产发布 生产发布 独立测试 PA3.3 测试工艺如何与敏捷研发模式融合，提升测试效率？ 工程技术实践持续集成持续部署代码扫描自动化测试测试精准测试 TMMi实施需要注重管理体系与工具和技术实践的结合 TMMi实施需要与测试管理工具结合 TMMi实施需要关注DevOps与测试自动化 TMMi实施需要关注非功能测试 TMMi实施需要关注测试行业新实践 TMMi助力企业从测试中心向质量中心转型 PA2.2测试策划PA2.4测试设计与执行 PA2.3测试监督与控制 PA3.5同行评审PA4.3高级同行评审 PA3.1测试组织PA4.1测试测量 测试过程管理 测试需求管理测试任务/计划管理 测试用例创建测试用例执行缺陷管理测试报告生成 测试监督控制 测试过程监督产品质量监督测试进度监督测试风险监督测试环境监督测试数据监督 评审管理 评审检查单评审电子流评审问题记录 评审度量和评价 PA2.5测试环境 环境数据管理 资源申请和回收数据的保存和复用 效能管理 个人能效团队能效项目能效 测试资源池利用率 PA4.2.产品质量评估PA5.1缺陷预防 量化管理 产品质量管理缺陷预防和质量控制 TMMi实施需要与测试管理工具结合 TMMi实施需要关注非功能测试 PA3.4非功能测试 SG2评估新测试技术以确定它们对测试过程的影响 •SP2.1识别并分析新测试技术•SP2.2试运行新的测试技术•SP2.3选择新测试技术以进行部署 系统/软件产品质量 功能性 性能 兼容性 易用性 可靠性 安全性 维护性 可移植性 体系建设 标准 规范 流程 模板 工具技术 工具 语言 脚本 改进 组织人员 团队 人员 培训 成果 适应性易安装性易替换性 可移植性的依从性 模块化可重用性易分析性易修改性易测试性 维护性的依从性 保密性完整性抗抵赖性可核查性真实性 安全性的依从性 成熟性可用性容错性易恢复性 可靠性的依从性 可辨识性易学性易操作性 差错防御性界面舒适性易访问性 共存性互操作性 兼容性的依从性 时间特性资源利用率容量 性能效率的依从性 功能完备性功能正确性功能适合性 开发编码 版本管理 自动化持续集成、编译、检测、单元测试 产品管理 持续自动化测试 预发布 发布上线 8.发布Jar/war预生产环境 4.发起任务 开发人员1 2.轮询：发现更新 6.发布交付JAVA包 10.投产 版本服务器 CI服务器 源代码仓库 DOCKERImage库 预生产环境 生产环境 开发人员2 5.调度引擎执行构 建、单元测试、静态扫描任务 统一测试环境 9.持续Demo 自动化生产心 跳测试 业务人员 统一开发环境 测试人员 自动化测试平台 （功能、性能、安全） 持续测试 持续集成 持续发布&部署 TMMi实施需要注重DevOps与测试自动化 自动化 测试 单元测试套件 接口测试套件 UI测试套件 持续集成环境 持续测试环境 持续发布环境 （预生产） TMMi实施需要关注测试行业新实践 PA5.3测试过程改进 •SG1执行非功能产品风险评估•SG2建立非功能测试方法•SG3制定非功能测试分析与设计•SG4执行非功能测试 实施 •SG5执行非功能测试 测试管理工具 支撑测试需要，实现集中测试管理，包括测试需求、计划、任务、用例、人员、 缺陷、环境资源、数据 自动化测试工具 UI自动化、接口自动化、流水 线集成 测试服务 流量回访，测试左移和右移技术实践 用户体验测试 用户体验测试标准，方案，实施方法，改进和优化 AI测试 智能推荐、GUI智能测试，提升 测试效率 混沌工程 混沌工程的实施过程，工具平台，技术方案，效益成果 TMMi助力企业从测试中心向质量中心转型 构建应用质量度量体系应用质量可视化中心 定义、采集、汇总、分析运营监控、质量预警、测试策略调整、预防措施 使用应用质量画像评价质量 质量性能基线/PCB 0.05649 0.60860 0.24390 0.42625 |__组件组装检查点案例百分比 17 0.02367 0.87210 0.72380 0.79798 |__组件组装案例交易比 16 0.01367 0.98814 0.91811 0.95312 |__组件组装版本变动交易通过率 15 0.03344 0.98450 0.78680 0.88570 |__组件组装版本变动交易覆盖率 14 0.02760 0.22230 0.04570 0.13400 |__组件组装缺陷漏出率 13 0.03669 0.24420 0.01320 0.12870 |__功能测试缺陷漏出率 12 0.07947 0.60180 0.14650 0.37410 |_代码规范扫描隐患整改率 11 115.45322 584.20000 (230.70000) 176.70000 |_每万行代码规范扫描隐患数 10 0.03530 0.92710 0.70620 0.81670 |_数据库扫描问题分析率 9 0.07974 0.53330 (0.02040) 0.25650 |_代码复用率 8 0.09297 0.53450 0.02170 0.27810 |_代码复杂度 7 0.01647 0.21020 0.09640 0.15330 |_开发缺陷漏出率 6 0.03251 0.98740 0.81950 0.90343 |_设计缺陷漏出率 5 2.98117 16.88000 1.86000 9.37 |__需求人员经验 4 0.02637 0.21640 0.04920 0.13280 |__需求评审工作量占比 3 0.05220 0.28820 0.03320 0.16070 |_需求评审缺陷密度 2 0.00227 0.01616 0.00345 0.00981 减少交付生产事件发生密度 1 标准差 控制界上限 （UCL) 控制界下限 （LCL) 均值 总体指标 总体指标 编号 缺陷预测、质量风险分析、性能建模、质量建模、体验分析 THANKS！ 个人二维码 可增加个人社区联系交流方式