大模型刘昭炜：时代下DevOps 加速迈向平台工程的最新思考和研究成果分享

大模型时代下DevOps加速迈向平台工程的最新思考和研究成果分享 姓名：刘昭炜 GOPS全球运维大会暨研运数智化技术峰会2024·上海站 个人简介 试经验。 刘昭炜 中国信通院云大所高级业务主管 编写《研发运营一体化（DevOps）能力成熟度模型》系列标准、《研发运营一体化（DevOps）通用效能度量模型》、《业务研发运营一体化（BizDevOps）模型》等标准。参与多篇白皮书、调查报告等编制工作，包括《中国DevOps现状调查报告（2021、2022、2023）》等。参与评估DevOps能力成熟度评估超过 20个项目，具有丰富的标准编制、产业研究及评估测 平台工程背景及概念 平台工程落地实践 目录平台工程能力要求的标准化 需求管理精益化演进的趋势 01 平台工程背景及概念 多元化研发运营（XOps）体系发展 XOps体系 平台支撑 平台工程 战略与规划 ArchOps 业务研运 BizDevOps 财务与成本 FinOps IT基础设施运营 质量管理体系 软件研发过程质量管控 用户体验管理 研发运营能力体系建设 需求过程管理DevOps 敏捷开发管理持续交付 应用设计DevSecOps持续测试 研运效能度量 技术运营 AIOps 通用能力要求系统和工具能力可观测性 算法模型服务化系统可靠性与连续性工程 （SRE） 运维数据治理 研发运维大模型研发大模型测试大模型运维大模型 IT自主可控能力 企业DevOps发展整体向好，但存在一定发展瓶颈 企业向DevOps全面级迈进，更加自动化、规范化，但平台化能力有待加强 根据调查显示，DevOps落地成熟度处于全面级的企业最多，为41.20%，同比增长0.34%，具备自动化、规范化的特点；17.83%企业的实践成熟度处于优秀级，具备平台化、自服务化与度量驱动改进的特点；0.85%的企业处于卓越级，能够实现DevOps的高度智能化、数据化及社会化的特点。 数据来源：中国信息通信研究院，2023年 PaaS难以应对多种情况，只能提供一条路径 PaaS，又称平台即服务，是指将软件研发平台作为一种服务提供给用户。PaaS要求云提供商提供开发工具、基础架构、操作系统等构建应用程序所需的一切。 目前PaaS市场发展比较成熟，存在着各种工具，如SAP云，Azure，AWSLambda等。大多数PaaS平台为开发人员提供了构建应用程序的环境，但只能提供一条路径，只能通过简单设置支持相对不那么复杂的用例。在企业规模扩张时，开发者人数增加，现有的PaaS解决方案难以满足不同需求。 用户认知负担阻碍DevOps进一步实施 目前，DevOps发展迅速，受到广大组织的积极响应。但是，在DevOps理念的落地实施中，研发人员发现自己需要负责一些原来没接触过的工作。 基础设施管理：如管理Docker文件、Helm图表、Terraform代码等文件 流程设计：随着项目人员的变动，可能需要对现有工作流程进行调整。 所有权管理：包括对第三方工具与产品进行管理等工作。 认知负担有可能会引起研发人员的不满，导致DevOps的实践工作受到阻碍。 开发（Dev）与运营（Ops）之间的 协作融合 建立和维护综合平台，促进软件高 效高质交付 平台工程特征 •工具、流程和环境的标准化 •资源共享和自动化，避免重复工作 •集中管理 •鼓励协作与最佳实践分享 •工具统一，团队可以更关注应用程序开发 DevOps目标 •避免团队间差异 •提升效率，缩短软件开发生命周期 •节约管理成本 •提升团队之间协作，打破隔阂 •避免花费时间在工具管理上 DevOps团队 制定流程和想法，使建设的工具得到最佳利用，充分利用开发周期 平台工程团队 构建基础设施、技术栈和团队所需的基本基础，实现工作流程自动化、确保系统可靠性，提供必要的工具和环境 平台工程是企业实现DevOps实践的关键推动因素 DevOps转型（方法论） 平台工程（工具赋能） GOPS全球运维大会暨研运数智化技术峰会2024·上海站 大模型应用发展取得显著突破 随着人工智能技术的飞速发展，大模型在自然语言处理、计算机视觉、语音识别等多个领域取得了显著的突破。特别是在自然语言处理领域，预训练大模型如BERT、GPT系列等已经成为研究和产业应用的标配。 2023年政策助推大模型在各行业应用快速落地 2023年7月，国家互联网信息办公室等七部门联合发布了《生成式人工智能服务管理暂行办法》： 鼓励生成式人工智能技术在各行业、各领域的创新应用，探索优化应用场景，构建应用生态体系。 2023年12月，国家数据局发布《“数据要素x”三年行动计划（征求意见稿）》： 提出以科学数据支持大模型开发，支持开展通用人工智能大模型和垂直领域人工智能大模型训练。 北京、上海、深圳、安徽、四川等省市出台大模型产业发展措施： 《上海市推动人工智能大模型创新发展若干措施》等政策，加速大模型应用落地，建设大模型算法及工具开源开放平台，构建完整大模型技术创新体系。 近年来国内外大模型技术发展迅猛 国际国内 OpenAI：GPT4百度：ERNIE3.0文心大模型Google：Bard清华大学：GLM-130B模型Meta：LLaMa阿里巴巴：通义大模型……腾讯：混元大模型…… GOPS全球运维大会暨研运数智化技术峰会2024·上海站 大模型让数字时代发展的智能化趋势比预想更快。 平台工程是为智能化的未来做好准备的前置条件 大模型是指具有大规模参数和复杂计算结构的机器学习模型。研运大模型是专门针对软件研发、测试、运维领域的大型预训练模型。基于开源大语言模型，通过私域研发运营数据定制化训练形成，以私有化方式部署为主，用于辅助软件生命周期中的各个阶段。 赋能软件研发运营提质增效 研运大模型的应用前景广泛，可以应用于代码生成、自动化测试、日志分析、故障诊断、性能优化等多个方面，显著提升软件研发和运维的效率和质量。 领域专业性 多模态处理分析能力 人工智能的核心是工程化，大模型需要与平台工程相融合，才能做到对企业业务有精准理解，从而真正赋能企业的研发效能、质量提升，助力企业迈向智能化时代。 智能分析 文档与知识管理 研运大模型特性 产品工具集成 交互式查询与支持 GOPS全球运维大会暨研运数智化技术峰会2024·上海站 国际权威咨询机构预测 Gatner将平台工程列为2024年顶级战略技术趋势之一，已经连续两年将平台工程作为关键技术预测。根据Gatner的预测，到2026年，80%的软件工程组织将拥有平台工程团队，来提供内部服务、组件和应用程序交付工具，作为可重复使用的资源。其对“平台工程”的定义为：一套用来构建和运营支持软件交付和生命周期管理的自助式内部开发者平台的机制和架构。 GOPS全球运维大会暨研运数智化技术峰会2024·上海站 国家层面：多项政策文件均提及或鼓励企业建设内部开发运维平台 平台工程的概念受到广泛关注 平台工程是一组用于设计、构建和运营支持软件价值交付和生命周期管理的平台的方法、流程和机制，具备自助式、自服务能力，能够最小化内部IT人员的认知负荷，提升DevOps/BizDevOps质量、效率与效能。 当前，在我国加速数字化转型的浪潮下，平台工程对于加强科技能力至关重要，多项政策文件均提及或鼓励企业建设内部开发运维平台。 国家金融监管总局：积极引入研发运维一体化工具，完善数字化交付管理体系 《中国银保监会办公厅关于银行业保险业数字化转型的指导意见》要求“推动科技管理敏捷转型。建立能够快速响应需求的敏捷研发运维体系，积极引入研发运维一体化工具，建设企业级一站式研发协同平台。建立适应‘敏态’与‘稳态’的全周期线上交付管理流程，完善数字化交付管理体系”。 中国证券业协会：建设统一的源代码管理 工具和标准化的研发运维一体化工具平台 《证券公司网络和信息安全三年提升计划（2023-2025）》提到，建设统一的源代码管理工具和标准化的研发运维一体化工具平台，进而将安全控制手段嵌入信息系统开发的需求分析、设计、编码、测试、发布和运维等各环节中，有助于持续提升代码开发效率及安全。 平台工程正在成为助力企业数字化转型的重要推力 平台工程是企业级DevOps成功实施的核心能力 2023年2月，Puppet发布“2023DevOps现状报告“，重点关注平台工程，并将其定义为：是一套设计和构建自服务功能的规程，以最小化开发人员的认知负荷，并支持快速流软件交付。报告指出，平台工程可以为整个组织带来意义深远的好处，帮助企业级DevOps实施走向成功。在公司加强平台团队招聘的过程中，他们必须优先考虑产品管理技能，而不仅仅是核心工程。 >>报告显示，超过4成受访者所在组织具有平台团队的时间超过3年。 >>超过九成的受访者认为，平台工程能够帮助组织更好地认识到DevOps的益处。 GOPS全球运维大会暨研运数智化技术峰会2024·上海站 优化成本结构 标准化 灵活可定制 平台工程建设要素 监控与日志 可伸缩性 安全性 知识管理与 文档化 平台工程社区蓬勃发展 平台工程相关社区自2021年起快速建立并蓬勃发展，越来越多的IT领导、技术人员开始关注平台工程这一概念。 简化开发运维人员操作，提升体验 为应用开发提供稳定可靠基础 平台工程建设目标 提升交付效率 自动化 支撑持续集成与持续交付流程 02 平台工程落地实践 精益研发的实现：DevOps 精益研发概念从20世纪90年代被提出已经历经30余年的演进 精益研发与敏捷、DevOps理念高度契合 精益研发七大原则 敏捷开发模式 全局消除 精益概念被丰田第一次提出 《精益思想》 2001 《精益开发方法》 2009 《精益产品开发》 2023 1990 1996 20032004 20122017 《精益软件开发》 《精益创业》 优化浪费 嵌入增强 质量学习 精益研发是全面优化企业运营和提升竞争力的思维方式。它强调通过消除浪费、提高效率和持续改进来推动企业不断向前发展。在精益研发的实践中，战略目的、管理目的和开发目的构成了其三大核心目标。 权力 DevOps模式BizDevOps模式下放延迟决定 尽快发布 敏捷与DevOps共同点： 客户价值、迭代改进、快速反馈、持续集成 敏捷 DevOps 精益 精益与DevOps共同点： 价值流、客户价值、消除浪费、可视化 中国信通院组织编制的DevOps调查报告显示，大量企业通过落地DevOps极大地改善了研发效率和质量管理提升，这与精益研发的嵌入质量和尽快发布等原则高度匹配 国内企业DevOps落地成熟度稳步提升，约六成企业达到DevOps成熟度全面级及以上。 多数企业通过成功落地DevOps在以下几个方面获得提升：按时交付、研发和交付效率、客户/用户满意度、研发过程质量。 GOPS全球运维大会暨研运数智化技术峰会2024·上海站 来源：《中国DevOps现状调查报告2023》 平台工程 需求拆解 开发准备 编码 自测 提测 预发布 生产发布 需求 设计 开发 测试 部署上线 运维 基于精益价值流实现平台工程 业务层 业务价值流 技术层 工程价值流 平台工程能力建设全面助力企业数字化转型提质增效-以某保险企业为例 将平台工程视为“平台产品化建设+DevOps+PaaS+基础设施”几大能力的集合，构建以用户服务为中心的平台工程分层能力， 包含自定义能力、模板化能力、扩展能力、抽象能力等核心产品特性。 通过整合业务、产品、研发、运维等角色端到端的协作过程，助力公司打造出提升研发效能的一站式研发协作平台，成为支撑公司四大业务生态快速发展的技术基石。 平台工程能力建设全面助力企业数字化转型提质