由效及质，以点带面——证券行业研发转型新观察 - 中国信通院云大所 白瀚雄

中国信息通 中国信息通信研究院 由效及质，以点带面 研究院 中国信息通信研究院 中国信 ——证券行业研发转型新观察 通信研究院 中国信息通信研究院 中国信通院云大所白瀚雄 GOPS全球运维大会暨研运数智化技术峰会2024·上海站 研究院 通信研究院 中国信息通信研究院 中国信息通 中国信息通信研究院 中国信 中国信息通信研究院 个人简介 白瀚雄 中国信通院云大所审计与治理部 DevOps业务主管 中国信通院云大所审计与治理部工程师，具备多年运维工作经验。负责重点行业DevOps、持续测试等研运一体化相关标准的制定和评估工作，主持参与2022、2023、2024年中国DevOps、AIOps现状调查报告的编制，主持评估超100项。 中国信息通 中国信息通信研究院 证券行业持续交付发展现状01 中国信 证券行业持续测试发展现状02 研究院 中国信息通信研究院 目录CD/CT“不可能三角”03 通信研究院 中国信息通信研究院 CD/CT的持久化04 01 通信研究院 中国信息通 研究院 中国信息通信研究院 中国信息通信研究院 中国信息通信研究院 中国信 (CD)发展现状 证券行业持续交付 Gartner发布的2023年中国ICT技术成熟度曲线预测DevOps将在2025~2028年内成为生产成熟期的技术，从目前DevOps的应用情况来看，DevOps对企业有很多切实帮助。 研究院 中国信息通信研究院 中国信息通信研究院 中国信息通 中国信 通信研究院 中国信息通信研究院 6 研究院 中国信息通信研究院 通信研究院 中国信息通信研究院 中国信息通 中国信息通信研究院 中国信 通信研究院 中国信息通 研究院 中国信息通信研究院 中国信息通信研究院 中国信息通信研究院 中国信 部门墙 通信研究院 中国信息通 中国信息通信研究院 实际落地DevOps的特点 研究院 中国信息通信研究院 中国信息通信研究院 中国信 部门墙：Dev|OpsDevOps|Ops 持续交付是指持续的将各类变更（包括新功能、缺陷修复、配置变化等）安全、快速、高质量地落实交付到生产环境或用户手中的能力。 持续交付包括配置管理、构建与持续集成、测试管理、部署与发布管理、环境管理、数据管理、度量与反馈7大领域。 研究院 中国信息通信研究院 中国信息通信研究院 中国信息通 中国信 度量指标度量指标定义度量指标类型度量数据管理度量指标更新 代码质量规约质量规约检查方式反馈处理 配置管理 构建与持续集成 测试管理 部署与发布管理 环境管理 数据管理 度量与反馈 版本控制版本控制系统分支管理制品管理 单一可信数据源 构建实践 构建方式构建环境构建计划 构建职责 测试分层策略分层方法分层策略测试时机 部署与发布模式 部署方式部署过程部署策略 部署质量 环境管理 环境类型环境构建 环境依赖与配置管理 测试数据管理 数据来源数据覆盖数据独立性 自动化分析 自动化执行 自动化开发 自动化设计 自动化测试 通信研究院 中国信息通信研究院 数据变更管理 变更过程兼容回滚数据监控 度量驱动改进内容和生成方式数据时效性覆盖范围反馈改进 部署流水线 协作模式流水线过程过程可视化 变更管理变更过程变更追溯变更回滚 持续集成 集成服务集成频率集成方式反馈周期 《研发运营一体化（DevOps）能力成熟度模型第3部分：持续交付》总体框架 制品晋级 应用部署 卡点确认 持续测试 构建集成 制品上传 单测扫描 代码拉取 流水线成熟的标志： 1.制品打通 制品晋级避免重复构建。 2.环境打通 各环境通过流水线串联部署。 3.数据打通 流水线任务信息同步易追溯。 研究院 中国信息通信研究院 通信研究院 中国信息通信研究院 中国信息通 中国信息通信研究院 中国信 配置管理 构建与持续集成 测试管理 部署与发布管理 环境管理 数据管理 度量与反馈 研究院 通信研究院 中国信息通 中国信息通信研究院 证券行业当前企业持续交付能力现状 中国信息通信研究院 2020年到2024年： 中国信息通信研究院 中国信 头部券商-》大中型券商-》中小型券商 研究院 通信研究院 中国信息通信研究院 中国信息通 中国信息通信研究院 证券行业当前企业持续交付能力现状 选取过去一年，16个券商/交易所参评持续交付能力的情况进行统计，目前整体上各方面成熟度均处于 中国信息通信研究院 中国信 2.8-3.0左右，环境管理相对较高，构建与持续集成相对较低。 配置管理 2.830 构建与持续集成 2.797 测试管理 2.969 部署与发布管理 2.866 环境管理 3.021 数据管理 2.900 度量与反馈 2.836 成熟度最高项 平均级别 反馈处理 3.75 制品管理 3.69 环境依赖与配置管理 3.31 成熟度最低项 平均级别 变更回滚 2.00 构建计划 2.31 度量指标类型 2.31 研究院 中国信息通信研究院 通信研究院 中国信息通信研究院 中国信息通 中国信息通信研究院 中国信 能力子项 2级 （基础级：自动化/脚本化、小范围） 3级（全面级：系统化/工具化、规范化、大范围） 变更回滚 手工实现回滚 1)实现变更管理系统和版本控制系统的同步回滚，保证状态的一致性2）回滚操作实现自动化说明：是指基于需求级别的回滚机制，需求撤销后代码也同步自动化移除 构建计划 1）实现每日自动构建 2）根据发布策略细分构建类型，比如发布构建、测试构建 1)实现定期自动执行构建和代码提交触发构建 2)明确定义构建计划和规则，并在研发团队内共享说明：需实现代码提交自动化触发构建过程，以保证对代码的持续验证 度量指标类型 度量指标以结果指标为主，如变更频率，需求交付前置时间，变更失败率和平均修复时间 度量指标覆盖过程指标，客观反映组织研发现状 02 通信研究院 中国信息通 研究院 中国信息通信研究院 中国信息通信研究院 中国信息通信研究院 中国信 (CT)发展现状 证券行业持续测试 据2024年7月发布的《中国DevOps现状调查报告（2024）》显示，自动化测试及线上测试的建设受到企业广泛重视。目前，企业亟需通过测试左移等手段全面提升测试的质量和效率，降低测试耗时和资源成本，尽早地发现并解决缺陷。 中国信息通信研究院 测试过程现状显示出企业对于介入自动化 测试的重视，超9成企业实践测试左移。 安全测试、性能测试、接口测试成为自动 中国信 化比例最高的测试类型。 8.62%的团队在代码开发完成后才进行测试，这一比例较2023年的 研究院 中国信息通信研究院 19.01%有所下降，表明更多的测试活动正在向开发周期的早期阶段转移。同时，28.23%的团队在代码开发前就开始介入测试。 54.61%的团队实现了接口测试的自动化。62.22%的团队实现了安全性测试的自动化，较2023年的17.02%大幅增长，显示出安全测试的自动化受到了更多的关注。 中国信息通 通信研究院 中国信息通信研究院 GOPS全球运维大会暨研运数智化技术峰会2024·上海站 中国信息通信研究院 中国信 测试时间占比进一步下降，超5成企业测试占迭代时间小于30%。 超6成测试团队将缺陷逃逸率控制在6%以内。 22.85%的团队将20%-29.9%的时间用于测试周期，这一比例较 2023年有所提升。此外，19.09%的团队将30%-39.9%的时间用于测试，而13.33%的团队仅花费迭代中一成的时间即可完成测试 研究院 中国信息通信研究院 。 23.03%的团队能够将缺陷逃逸率控制在2%以下，而20.15%的团队的缺陷逃逸率在2%-3.9%之间。此外，18.48%的团队的缺陷逃逸率在4%-5.9%之间。 中国信息通 通信研究院 中国信息通信研究院 GOPS全球运维大会暨研运数智化技术峰会2024·上海站 随着国家和企业对于信息技术质量建设的要求不断提高，强调左移、右移和自动化的持续测试成为了软件全生命周期质量管理的最佳实践之一。 中国信息通 经过超18个月的四轮研讨，融合了多行业近三十家头部企业先进实践的《研发运营一体化（DevOps）能力成熟度模型第11部分：持续测试》标准于2023年10月正式发布。 持续测试标准从DevOps测试流程出发，覆盖从需求、开发、集成到验收、发布、运维阶段的测试工作，并融合了持续反馈，形成持续测试闭环。 另外还对支撑持续测试的基础能力和效能度量能力进行梳理，建立了一套适用于不同行业的持续测试方法论。 持续测试标准体系加速落地 中国信息通信研究院 国家政策持续推进质量和测试能力建设 加强技术创新、标准研制、计量测试、合格评定、知识产权、 中国信 工业数据等产业技术基础能力建设。 ——2023年2月中共中央、国务院 中国信息通信研究院 《质量强国建设纲要》 重点行业积极实践持续测试标准 研究院 提升软件质量管理能力，支持配置管理、代码审查、测试验证、质量分析等工具研发，提升质量监控、预警和评价能力，推动企业建立与国际接轨的产品开发、质量控制体系，提升软件开 发质量。 自标准内容形成后，中国信通院从10月起开展了持续测试能力评估，已有来自银行、证券等重点行业的4家企业6个项目参与了持续测试的首批评估，结果已于大会发布。 22 ——2021年11月工信部 中国信息通信研究院 《“十四五”软件和信息技术服务业发展规划》 完善编译器、开发测试工具和基础软件模块等工具链，建立大数据 产业发展质量监测分析体系。 未来，随着持续测试持续测试标准还将在互联网、通信、保险、能源、制造业等行业企业广泛落地。中国信通院也将致力于企业信息技术质量管理标准体系建设，在工具平台、代码质量、用户体验等领域进行深入的标准研究。 通信研究院 ——2021年12月中央网信委 《“十四五”国家信息化规划》 GOPS全球运维大会暨研运数智化技术峰会2024·上海站 标准从DevOps过程出发，将持续测 试流程分为： 需求阶段、开发阶段、集成阶段、验收与发布阶段、运营阶段、持续反馈。 对应在DevOps迭代周期中，持续测试从敏捷开发的需求侧开始，到技术运营的运维监控，形成了端到端 的持续测试闭环。 除持续测试流程外，持续测试能力 还包括测试通用基础能力和持续测试效能度量。测试通用基础能力是持续测试流程的支撑，是实现持续测试的所有资源和风险管理的集合；持续测试效能度量覆盖测试的全流 程，持续优化组织测试和研发运营能力，体现测试效能和成果。 研究院 中国信息通信研究院 通信研究院 中国信息通信研究院 中国信息通 中国信息通信研究院 中国信 部分编写单位： 中国信通院、农业银行、中国银行、邮储银行、中国移动、中国联通、人保财险、招商银行、中信银行、中金公司、中泰证券、申万宏源、中金所、京东、百度、中移金科、东软集团、中软国际、众邦银行、广通优云、金证科技、华佑科技等（以上排名不分先后） 《研发运营一体化（DevOps）能力成熟度模型第8部分：系统和工具技术要求》规定了研发运营一体化（DevOps）过程中所涉及的系统和工具的能力技术要求，将端到端软件交付生命周期全流程用工具链进行连接，包括：项目与开发管理、应用设计与开发、持续交付、测试管理、自动化测试、技术运营。 其中，测试管理和自动化测试模块规定了对多项测试相关工具系统能力的基础功能（应该具备的功能）和高级要求（可以具备的功能）。 DevOps测试系统和工具——持续测试的工具支撑 中国信息通信研究院 测试管理 中国信 测试过程管理，从需求确定后进行测试用例编写到测试完成。 中国信息通信研究院 用例集、子用例集和用例的管理 测试用例的时间计划、执行范围、执行结果的管理 研究院 《研发运营一体化（DevOps）能力成熟度模型第8部分：系统和工具