大型企业数智化工程体系建设实践

大型企业数智化工程体系建设实践 罗小江 2023年7月20日 目 录1大型企业数智化转型背景 2大型企业数智化工程体系 3工程化体系建设案例 4工程化体系未来展望 PART 1 大型企业数智化转型背景 新时代，各种因素推动着企业数智化转型 领先企业的数智化进入了2.0阶段 数智化1.0 数据 重视和推进数据治理集团级 数智化2.0 应用 主题化、融合化、智能化创新应用 底座 全面升级数智底座 企业类型 •行业领先企业•已实现数智化1.0 •信息化基础强•少量具备自建平台能力 数据的业务化 应用部分场景创新应用 数据 数据分散，部门、单企业级 底座部分平台能力建设 企业类型 •行业跟随企业 •信息化基础弱 •处于数值化1.0阶段 •无自建平台能力 业务的数字化 打通内部运营管理和外部商业创新数智化，成就数智企业 打通内部运营管理和外部商业创新数智化 企业智能AI企业大数据洞察分析 外部商业创新 业管融合数智企业产业互联 内部运营管理 iuap平台 企业数智化新底座 ... 供应链云 协同云 人力云 财务云 ... 工业互联网连接设备产品 营销云连接生意客户 采购云 连接资源供应商 成为数智企业，迈向高质量发展 【数智企业的特征】 客户导向 生态共荣 员工能动 实时感知 数据驱动 智能运营 实现 更高经营绩 效 更可持续发 展 数据洞察智能让经营管理更精准、让企业决策更智慧 连接协同共享 由管理域，进入到交易、 生产现场、产业链 敏经营轻管理享服务 更强竞争优势 内部管理服务：财务、组 织、协同... 高效开放智能生态统一数智平台：三平台+三中台 数智化时代-新型的企业服务架构 流程(类)应用服务（pSaaS）数据(类)应用服务(dSaaS)+MaaS 智能化移动化可信安全社会化全球化 … (以上是特性 而非功能) 平台底座 技术、业务、数据、智能|工具、能力、资源 领域/行业数据服务中台 领域/行业业务流程服务中台 场景化数据服务 嵌入式 数据服务 场景化业务流程服务 1.平台底座变得越来越重要、多元、强大（厚） 2.从流程应用服务流程应用服务(pSaaS)+数据应用服务(dSaaS) 3.从工具型、套件式应用系统融工具、能力、资源服务，应用、业务、数据、知识、专业服务等的平台化、生态化的多元服务群/体，体现工程化能力 4.厂商间及与服务商的产品与服务融合化提供，不能再把一堆“烟囱”插到企业 企业只有驾驭数字技术才能赢得未来 数智化业务 “数字化”“智能化”融入生产、管理、营销、产业协作等各个方面，运用新技术、新手段、新理念，开启线上“云模式”。2023企业将从数字化转型时代进入到数字化业务时代。. 工程化体系 运营 云服务的构建、交付、运行、保障、支持以及服务的持续优化和提升。 有效的指导企业来不断的优化和完善云端、或者是基于混合云环境的IT运营。 科技赋能，带动高质量发展 推进新技术创新、新产品培育、新模式扩散和新业态发展。 组织技术 架构升级 云原生架构升级是对企业的整个IT架构的彻底升级。让应用系统以最佳姿势上云。 提升核心竞争力 围绕数据、业务流程、组织机构的互动创新，持续提升企业的核心竞争可持争 新一代ICT技术 技术、工具、平台、服务，以及深厚的知识积累和实践经验，不断增强实力，决胜数字化转型深水区。 PART 2 大型企业数智化工程体系 企业数智化转型，工程化体系建设至关重要 复杂的数智化产品及项目面临的挑战 产品大版本升级流程验证、回退及迁移 基础环境搭建和稳定运行 项目客开成果发布应用数据迁移 关键问题及挑战 项目客户化规范代码和补丁管理 产品补丁下发和安装分层管理及验证 产品需求和问题反馈问题识别及反馈 数字化转型效益化之路 模式升级 云计算使企业能够将用于软件生产的底层算、存、网、工具剥离，数据与业务解耦，实现共创数智化。让企业自己也能“更聚焦业务”。 敏捷工程化 重塑开发工作流，构建开发人员间新型协作模式，全面提高IT供给能力。 更少“能 IT架构量去“”过程化”； “开发者”集中精力至业务逻 辑； 快速连接，加快业务调整速度;成就”敏捷IT”。 模式升级:让软件开发更聚焦业务 物理机时代 云计算——虚拟化时代云计算——容器时代云计算——Serverless时代 依照应用运行环境及功能实现确定代码类型，并在已配置好的开发环境中写入代码 JavascriptJavaCS S HTML Python C/C++ Ruby 根据软件开发语言自行下载相应开发工具包配置开发环境 EclipseJdeveloper Komodo VisualStudioCode Jupiter BorlandCBuilder GCC Dev-C PhpED PHPEdit ColabSharpDevelop ZendStudio 在物理机上自行配置基础软件 操作系统 WindowMacOSLinux/Unix 手动配置硬件资源 数据库 SQLNoSQL 中间件 消息中间件事务式中间件过程式中间件 自购服务器 供电及布线服务器托管 配置网络环境 设备调试硬件参数备案 虚拟机1 虚拟机2 虚拟层 ··· 服务器及相关硬件 容器技术打包代码及环境 …容器 容器1容器2 编排 容器N 基础云能力支持 基础软件 中间件 操作系统 数据库 … 基础资源 计算 存储 网络 调配云资源并写入代码开发者随意选择擅长的代 码写入容器中 开发者仍需调配底层资源 Serverless提供代码以外 的一切软件开发能力支持 API API FaaS BaaS FaaS：在相应运行环境中， 以函数形式运行逻辑代码 ☑事件驱动☑按量付费 ☑弹性伸缩 BaaS：封装后端能力模块，以接口形式提供服务 容器 数据库大数据 云视频 中间件 文件存储账户管理 人工智能 聚焦核心业务 只关心业务代码的功能实现 软件开发 开发环境 基础软件 基础设施配置 厂商帮助开发者分担的工作 由物理机向云原生进化中开发者工作量降低示意图 开发者自行完成的工作 模式升级:让数据与业务解耦，快速响应业务 security 工程化的部署、补丁管理 制品分发 镜像扫描 制品仓库 版本管理 制品统一管理 资源规划 应用配置 产品安装 补丁安装 安装器 流水线总数： 11000+ 流水线执行总数： 1677771 服务发布总数： 58000+ 敏捷工程化:加速开发及部署效率 便捷及规范的IT资源供给能力 需求管理 功能开代码管 发 理 拉取代码 编译构建 持续测试 持续部署 自动化测试 上线发布 持续运维 DevSecOps-CI DevSecOps-CD 微服务总数： 16000+ 敏捷工程化:云上云下一体化 应用升级 安全漏洞补丁 100% 专属化效率提升 3倍 启动效率提升 1天 制作SP补丁 1-3天 制作金盘 0个 领域配置 80% 流水线效率提升 定制客开 操作系统 标准应用与客开 版本回退 中间件替换 三方包升级 云机一体 数据安全 灰度升级 环境资源 其他资源 持续测试 持续部署自动化测试上线发布 持续运维 CD YonBIP YonSuite iuap CI 资源准备 产品管理 需求管理 任务管理 任务跟踪 风险预估 YPR仓库 代码扫描 制品库 制品分发 代码编译 制品盘管理 版本管理 单元测试 中间件库 漏洞扫描 生成镜像 镜像仓库 三方包管理 编码管理代码仓库 安装盘 专属化项目交付 开发管理 应用配置 资源规划 中间件 产品安装 项目A 项目B 项目C YMS（统一技术栈） AStore一 敏捷工程化:业务上云后的调试云机一体 调试流量 Cookie:zone=developer1 服务A 服务B 服务B 服务C 本地调试机器 云上环境 与本地调试相比，使用云机一体不仅可以进行断点调试和开发代码自动reload功能，更可以实现云上环境及多人调试功能 敏捷工程化:质量门禁与多环境审批 测试环境 开发人员 •解决代码初级问题 代码质量检测 •需求状态更新 日常环境 多 环代码质量检测 境环境升级审批 预发环境 互通 •保障代码质量 •自动/手动流转 生产环境 管理员 应用发布 •提升代码质量，提高系统稳定性 •发布强管理，规范性强 •实时更新需求状态，开发任务实时跟踪 •开发发布过程全景展示 敏捷工程化:灰度发布保障业务应用平滑升级 灰度发布策略 灰度配置文件 分流服务器 执行情况反馈 为80%客户请求提供服务 为20%客户请求提供服务 提供新服务设备集群 提供旧服务设备集群 •业务系统升级用户无感知 •保可自定义分流百分比 •可指定用户分流 •保障系统稳定性 自动化用例执行设计 用例执行设计创新：使用k8s容器技术，动态部署、实时监控、动态伸缩HPA 1每个浏览器所需要的资源为1C4G，相比传统的windows测试（8C32G）,资源利用率是原来的8倍 2支持主流的浏览器(4种），支持630个浏览器实例同时执行，动态增加和减少浏览器数量、故障自愈 3支持串行、并行、串并行混合模式运行 敏捷工程化:智能运维为企业数智化保驾护航 智能分析历史决策数据和情境，支持更快和更准确的未来决策，优化运营。 将企业的重点从监控和响应转变为预测及主动干预，以最短的延迟做出主动决策。 Lowvolume Request-scopedmetrics 4 主动预防 即进一步实现事故预测与告警，进行主动式预防。 3 预测 即在实时数据分析的基础上，实现动态洞察和更新分析； 2 响应 强调实时运维数据分析与洞察； 1 标准化 标准化是实现运维自动化的前提； Agile Metrics Aggregatable Highvolume Tracing Requestscoped Request-scopedevents Logging Events Aggregatableevents e.g.rollups Traditional Request-scoped,aggregatableevents ITIL/CentralizedDevops/De-centeralized CNCF：可观测性的三大支柱：Metrics、Trace、Log(指标、链路、日志)AIOps的四个阶段 05 06 07 服务治理平台通过对服务、API、方法细粒度的管理 能够轻松梳理出服务间的关系 通过链路图、拓扑图、瀑布、列表等方式展示，从各维度快速找到问题 08 关联分析 通过内部各领域业务大量使用，数据各维度分析经验，打磨出业务数据关联分析框架与方案 09 10 通过分析可快速获取目前服务性能、调用失败、熔断、限流等问题 优化微服务框架 敏捷工程化:快速分析与诊断云上难题 事故还原 01通过对用户操作及应用调用链路进行分析 02将操作事件按调用先后顺序罗列出来 03还原用户操作场景 04帮助技术人员更精准的诊断问题 问题定位 更便捷的环境及数据迁移 组装重构 抽象沉淀 自动化操作 优化资源分配 提高灵活性 智能化 活和适应变 ..... 更少“能量”:IT架构“去过程化” 减少或完全去掉原始数据/原子能力与业务需求之间的中间数据/步骤，或使中间数据/步骤无须人为干预，自动化、智能化完成。放弃”梳理完成千万别动”思想，用全量原始数据保障读时模式，使得企业用更少的“能量”便可以维持数字化系统的持续运行 去过程化分层示意 统一的数据层/存储层 智能的计算层/处理层 敏捷的展现交互层/应用层 解耦、重构连接、组装 原生数据 元数据 处理 原子额能力 无代码能力 可组装 …… 结构化数据 非结构化数据 规范质量 ... 批处理流处理文件处理ORC 图像识别 ... 模型指标 复合指标 ... 可视化拖拉拽开发 人看数 人用数人产数 中台化架构开箱即用组件应用支撑 ... …… 简化流程 灵