AI落地研发的“最后一公里”暨《DevData24研发效能基准报告》数据解读-更新

能 思码逸 思码逸研发效能 思码逸研发 思码逸研发效能 思码逸研发效能 思码逸研发效能 《DevData'24研发效能基准报告》核心数据解读 思码逸研发效能 思码逸研发效能 任晶磊 思码逸研发效能 思码逸创始人兼CEO GOPS全球运维大会暨XOps技术创新峰会2024·北京站 思码逸 思码逸研发 思码逸研发效能 思码逸研发效能 任晶磊 思码逸创始人兼CEO 思码逸研发效能 思码逸研发效能 •清华大学计算机系博士；前微软亚洲研究院研究员，斯坦福大学、卡内基梅隆大学访问学者 •《软件研发效能度量规范》标准核心起草专家 思码逸研发效能 •多篇论文发表在FSE、OSDI等顶级国际会议上 •曾参与微软下一代服务器系统架构设计，获4项美国发明专利 能 思码逸研发效能 思码逸研发效能 •ApacheDevLake开源项目发起人 能 思码逸 思码逸研发效能 思码逸研发 思码逸研发效能 思码逸研发效能 思码逸研发效能 企业研发应用AI，效能提升了吗？ 思码逸研发效能 思码逸研发效能 思码逸研发效能 （采纳率） 思码逸 应用AI工具对企业研发效能的影响 思码逸研发效能 思码逸研发效能 效率方面：18% 思码逸研发效能 应用AI工具比未应用的企业需求交付周期更快 质量方面：23% 思码逸研发效能 思码逸研发效能 应用AI工具比未应用的企业单元测试覆盖度更高 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 思码逸研发 能 思码逸研发效能 思码逸研发效能 数据来源：《DevData2024研发效能基准调研报告》 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 能 思码逸研发效能 思码逸研发 思码逸 AI落地企业研发的路径与终点 思码逸研发效能 •AI落地企业研发需要“以终为始”，做填空题： 思码逸研发效能 •使用DevChat后，规范提交比例从%提高到了%，从而看清楚了需求、缺陷和重构工作的占比，优化了资源分配 思码逸研发效能 据此保证了%研发带宽用于支持业务需求，将需求吞吐率从每月交付个提升到 思码逸研发效能 思码逸研发效能 •使用DevChat后，单元测试覆盖度从%提高到了%，改进了质量薄弱环节，降低了质量保障成本 思码逸研发效能 据此将缺陷密度从‰降低到‰，发版事故数从个减少到 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 思码逸研发 思码逸 DevData'24研发效能基准报告 思码逸研发效能 思码逸研发效能 170份有效样本 三大认知域 思码逸研发效能 思码逸研发效能 首次采用客观数据结合主观问卷方式。客观数据来自受访企业私有部署的思码逸DevInsight，采集Git、Jira等数据。 指标涵盖了《软件研发效能度量规范》的三个主要认知域：交付速率、交付质量和交付能力。 思码逸研发效能 15个指标基准线 能 思码逸研发效能 思码逸研发效能 统计分析代码生产率、代码贡献均衡度、需求吞吐量、需求交付周期、重点问题密度、缺陷修复工作量等指标基准线（或表征） 思码逸研发效能 思码逸研发 思码逸 DevData'24研发效能基准报告 思码逸研发效能 思码逸研发效能 •代码当量*：基于程序分析算法，衡量代码规模和复杂度的基础指标 思码逸研发效能 思码逸研发效能 思码逸研发效能 使用代码当量作为可靠数据校准其他研效数据质量 能 思码逸研发效能 *JingleiRen,HezhengYin,etal.Towardsquantifyingthedevelopmentvalueofcodecontributions.FSE2018. GOPS全球运维大会暨XOps技术创新峰会2024·北京站 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 能 思码逸研发效能 思码逸研发效能 思码逸研发效能 思码逸研发效能 思码逸研发效能 思码逸研发 思码逸研发效能 思码逸 思码逸研发效能 DevData'24研发效能基准报告 认知域 指标（单位） 平均值 IQR 交付速率 需求吞吐量（个/月） 20人以下 38 6–24 21-50人 46 12–54 50人以上 66 21–50 需求交付周期（天） 21 9–30 需求颗粒度（代码当量） 493 61–645 代码生产率（代码当量/人月） 3595 2199–5003 开发过程稳定性（代码生产率离散系数） 0.34 0.25–0.40 代码贡献均衡度（%） 29% 23%–35% 交付质量 单元测试覆盖度（%） 15.27% 6.61%–20.08% 注释覆盖度（%） 30.70% 22.36%–32.98% 代码不重复度（%） 84.97% 79.26%–91.46% 重点问题密度（个/千当量） 1.71 0.54–2.21 缺陷修复工作量（代码当量） 36 7–47 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 能 思码逸研发效能 思码逸研发效能 思码逸研发效能 思码逸研发效能 思码逸研发效能 思码逸研发 思码逸 DevData'24研发效能基准报告 思码逸研发效能 思码逸研发效能 「高效能团队」评分量表，取等权重综合得分前20% 认知域 指标（单位） 评分 3分2分1分 交付速率 需求交付周期（天） ≤Q1 Q1-Q3 ≥Q3 代码生产率（代码当量/人月） ≥Q3 Q1-Q3 ≤Q1 开发稳定性（代码生产率离散系数） ≤Q1 Q1-Q3 ≥Q3 代码贡献均衡度（%） ≥Q3 Q1-Q3 ≤Q1 交付质量 单元测试覆盖度（%） ≥Q3 Q1-Q3 ≤Q1 注释覆盖度（%） ≥Q3 Q1-Q3 ≤Q1 代码不重复度（%） ≥Q3 Q1-Q3 ≤Q1 重点问题密度（个/千当量） ≤Q1 Q1-Q3 ≥Q3 缺陷修复工作量（代码当量） ≤Q1 Q1-Q3 ≥Q3 交付能力 部署频率 按需每天多次部署 介于每周1次到每月1次 介于每月1次到每6个月1次 变更前置时间 介于1天到1周之间 介于1周到1个月 介于1个月到6个月之间 服务恢复时间 不到1天 介于1天到1周 介于1周到1个月 变更失败率 0%-15% 16%-30% 46%-60% 思码逸 DevData'24研发效能基准报告 思码逸研发效能 思码逸研发效能 「高效能团队」中位值水平画像 交付速率 交付质量 交付能力 •每14天交付一个需求 •代码生产率3463当量/人月 •代码生产率离散系数0.25 思码逸研发效能 •35%的团队成员贡献80%的代码当量 •单元测试覆盖度20% 思码逸研发效能 •注释覆盖度33% •代码不重复度91% •重点问题密度0.54个/千当量 能 思码逸研发效能 思码逸研发效能 •修复一个缺陷耗费15当量 •可提供每天多次按需部署 思码逸研发效能 •变更前置时间在1天～1周之间 •服务恢复时间不到1天 •变更失败率小于15% GOPS全球运维大会暨XOps技术创新峰会2024·北京站 思码逸研发 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 思码逸研发 思码逸 DevData'24研发效能基准报告 思码逸研发效能 思码逸研发效能 敏捷开发模式下的代码生产率更高，相比其他模式高9% 20人以下团队的代码生产率相比50人以上团队高46% 思码逸研发效能 思码逸研发效能 单元测试覆盖度中位值仅为15%，“测试左移”仍有较大空间 思码逸研发效能 引入外包的研发团队代码生产率高12%，但重点问题密度高25% 能 思码逸研发效能 思码逸研发效能 应用度量指标管理研效的企业相比未应用企业的代码生产率高5% GOPS全球运维大会暨XOps技术创新峰会2024·北京站 能 思码逸研发效能 思码逸研发效能 思码逸研发效能 思码逸研发效能 思码逸研发效能 思码逸研发 思码逸 DevData'24研发效能基准报告 思码逸研发效能 思码逸研发效能 •运营培训、结合私有信息、适配实际场景是AI落地企业研发的三大挑战 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 能 思码逸研发效能 思码逸研发效能 思码逸研发效能 思码逸研发效能 思码逸研发效能 思码逸研发 思码逸 DevData'24研发效能基准报告 思码逸研发效能 思码逸研发效能 •流程规范、团队协作和度量体系是企业研发效能提升面临的三大挑战 思码逸 度量案例：助力提升DevOps成熟度 需求背景： 实践效果 通过DevOps持续交付标准3级评估，相关能力达到国内领先水平 思码逸研发效能 思码逸研发效能 •金融企业，研发团队规模超300人。数据分散，治理困难，指标体系不完善。 •集团对信息化建设提出要求，以推动整体效能提升，其中完成信通院DevOps成熟度评级成为关键考核标准。 痛点归纳解决方案 思码逸研发效能 借助思码逸系统集成能力， 数据分散，收集困难01 思码逸研发效能 02 原始数据比较散乱，没有统一的度量模型和方法 能 指标和评价体系不完善03 01陆续将DevOps工具集成到系 思码逸研发效能 统中，完成数据自动同步 建设企业领域数据宽表，对数02据进行清洗整理，借助DORA 指标建立评估模型 思码逸研发效能 从思码逸指标体系中选取质量03类评价指标，补充完善已有指 思码逸研发效能 标库 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 思码逸研发 思码逸研发效能 思码逸研发效能 思码逸研发效能 思码逸研发 思码逸研发效能 思码逸 思码逸研发效能 度量案例：助力提升DevOps成熟度 能 思码逸研发效能 思码逸研发效能 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 思码逸研发效能 思码逸研发效能 思码逸研发效能 思码逸研发 思码逸研发效能 思码逸 思码逸研发效能 你的企业数据如何获得 能 思码逸研发效能 思码逸研发效能 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 思码逸研发效能 思码逸研发效能 思码逸研发效能 感谢您的关注 欢迎到209展位交流 思码逸研发效能 思码逸研发效能 DevInsight：专业的研发效能数智化平台 关注思码逸公众号，获得最新研效资讯 网址：www.merico.cn客服：400-8637-426 添加小逸获得PPT，预定报告全文 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 能 思码逸 思码逸研发效能 思码逸研发效能 思码逸研发 思码逸 思码逸研发 思码逸研发效能 思码逸研发效能 THANKS 思码逸研发效能 思码逸研发效能 思码逸研发效能 感谢大家观看 能 思码逸研发效能 思码逸研发效能 2024.6.28