谢荣良-工行 IT 架构资产与元数据管理体系建设揭秘

工行IT架构资产与元数据管理体系建设实践 谢荣良 中国工商银行软件开发中心经理 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 谢荣良 工商银行软件开发中心经理 中山大学软件工程专业毕业，2014年7月参加工作，先后在中国银行软件开发中心、工商银行软件开发中心、担任架构师、项目负责人等职位，作为架构资产管控系统、元数据及软件资源与信息管理的架构师、产品经理和项目负责人，具备丰富的元数据和数据中台研发经验和团队管理经验。 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 架构资产和元数据管理建设之路 目录 标准化的持续交付框架 账实一致的探索和实践 01架构资产和元数据管理建设之路 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 架构资产和元数据建设历程 对接研发和运维 架构资产管控 随数据中台建设推进，逐步支持实现数据中台资产管理，同时配 套落地数据入湖管控能力； 强化场景和资产质量 深化架构资产和元数据赋能研发和运维工作的场景建设； 建设元数据和架构资产账实保障 机制，夯实元数据质量。 全行应用 建设企业级元数据及软件资源管 全行推广表结构、程序等发版硬控制功能，将资产管控嵌入系统研发流程； 开展各类技术平台元数据管控能力建设，对接技术平台实现自助发版； 产管理需求。 开展业务架构资产管控能力建设。 2019~2022 2023~至今 内部管理 理系统，扩展资产管控和服务范围。 建设集团信息标准管理服务系统，管理业务元数据信息。 开展IT架构资产管控系统建设。 2012~2018 基于架构资产建设标准化持续交付流程 建立软件数据资源内部管理系统，主要对表结构、接口等进行管理。 2008~2011 建设元数据发版能力和IT架构资产管控系统 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 2004~2007 开展全行元数据及软件资源管理系统建设 总体能力布局 价值交付 创新计划视图 总行项目视图 业务需求视图 需求项视图 研发树形图 任务视图 团队视图 风险揭示 标签管理 需求子条目管理 需求用例 需求条目管理 需求编制 需求排期 立项管理 需求项管理 创新计划 需求整合 业务创意 需求管理 流水线调度 流水线编排 交付门禁 投产预处理 版本构建 代码扫描 版本部署 制品管理 线上文档 应用设计 任务管理 个人开发 任务管理 开发环境 流水线 非功能性设计 需求子条目设计 资源管理 需求项设计 源代码管理特性分支管理提交构建 提交门禁 测试管理 测试方案 测试计划 测试评审 测试案例 测试执行 测试数据 测试报告 测试环境 测试工具 测试脚本 应用威胁建模 专项测试 分行测试 应用测试策略 缺陷管理 测试风险管理 质量门禁 投产管理 投产总览投产准备部署发布 总体投产方案和业务验证 策略定制技术验证投产验收风险应对 分层配置 资源需求管理 资源供给管理 应用配置管理 环境配置管理 架构设计 元数据管理 安全架构 数据架构 技术架构 应用架构 业务架构 技术支撑 管理产品与项目管理 支撑 项目组成员管理 项目风险管理 项目范围管理 知识库 项目计划管理 项目进度管理 度量统计 项目变更管理 项目关闭管理 产品信息管理 研发管理数据中台 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 IT架构资产和元数据能力布局 业务系统 应用架构 物理应用 服务节点 服务环境 移动客户端 能力目录 用户管理 架构资产和元数据管理 运维架构 业务运维板块 发布单元 服务环境 流程管理 应用白皮书 业务架构 流程模型 实体模型 产品模型 市场模型 角色管理 逻辑应用 逻辑应用 逻辑应用 逻辑应用 数据架构 数据实体属性 数据实体 数据对象 发布单元 服务群组 IT架构 逻辑应用 逻辑应用 软件资源 … … 密钥 批量作业 程序 元数据 … … 视图 文件接口 平台服务与接口 表结构 架构分析 版本管理 …… 元数据及软件资源 逻辑应用 逻辑应用 逻辑应用 逻辑应用 权限管理 技术领域 技术产品 技术体系 技术平台 技术架构 日志管理 元模型管理 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 全视图管理 02标准化的持续交付框架 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 观点一 统一语言和标准化流程能有效提升效率 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 统一与标准化 统一方法与语言 采用统一的企业架构设计方法和语言来管理架构资产，通过结构化的架构模型， 实现架构对业务的承接。 标准化持续交付框架 基于IT架构资产定义持续交付框架，实现持续交付流程的标准化，强化流程的 复用性和安全性。 统一管控机制 01 02 03 04 将架构建模及管控的过程融入项目研发流程，实现架构资产的生产、传播、应用、更新一体化，确保资产的充分利用和有效传承。 标准化资产发布 将资产变更内容与版本介质发布流程对接，版本介质制作过程中联动资产变动信息发布，确保设计与落地相符。 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 统一方法与语言 物理应用 是通过技术手段实现的业务或技术的功能集合，服务于特定范围的业务或技术目标。 服务群组 是指一个物理应用根据差异化研发管理需要，进一步细分的功能子集，用于支撑各项研发管理工作，使之更加精细化。 应用服务节点 一组提供相同服务功能的节点群组。 服务环境是物理应用内部根据具体的服务群组、服务对象、服务水平和技术特征不同而做的进一步拆分，是一个可独立部署的最小运维组织单元，其架构应遵循或继承应用逻辑及部署架构。 发布单元 服务环境 是构建、部署的最小单元，一个代码库只能构建出一个发布单元，一个发布单元只能部署到一个应用服务节点上。发布单元内进行全量发版，应用内各发布单元间增量按需发版，实现完整性与灵活性的兼顾。 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 统一管控机制 管控目标 管控机制 建立与管控流程相适应的组织结构。 管控组织 Who 流程的相关角色 管控流程 How 流程的输入输出 管控对象 What 管控对象为我行架构资产及元数据。 设计 设计 项目立项需求编制概要详细 （业务建模） 编码适应性投产 测试测试运行 通过项目研发过程实现规划落地。 Where 项目实施全生命周期 资产管控相关系统 通过系统固化实现资产及流程的管控。 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 标准化持续交付框架 应用 应用服务节点 服务群组 服务节点实例 发布单元 服务环境 版本组织部署组织 构建 制品库 发布单元 应用源代码（构建模型） 代码库 应用 部署 按应用版本组织部署，部署时从制品库获取本节点涉及的制品，按制品自带的部署策略自动部署 应用服务节点（部署模型） 应用 服务环境 服务节点 观点二 资产在“活用”中保鲜和发挥价值 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 项目研发全生命周期各阶段主要活动 标准化资产发布-总体流程 投产 编码 详细设计 总体方案设计 需求方案设计 立项 角色 编写业务需求 编写业务用例 业务增量建模 功能\集成测试 管理角色 单元测试 验收及适应性测试 立项需求设计 总体设计详细设计 开发测试投产 用例 需求 验收 测试 业务人员 立项 需求确认 业务架构师 需求设计 流程产品建模 需求提交 方案评审 审核 详细设计 实体模型对接 总体方案设计 影响分析 C'和D建模 测试 编码 服务设计 增量实体建模 上线 交互设计 支持需求 设计 需求分析 各专项架构师业务架构支持经理产品经理 应用架构师 开发人员 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 标准化资产发布-数据资源变更 标准化资产发布-表结构发布 数据架构 物理表 自动生成 DDL 应用架构师 识别数据架构变动情况 开展数据实体设计和更新 专项架构师审批 开发经理 开展表结构更新 技术主管及专项架构师审批 提交版本 过程版本 交付版本 配置管理员 制作过程版本 过程版介质安装 测试环境验证 配置管理员 制作交付版本 交付生产版本包 投产发布 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 标准化资产发布-工具支撑示例 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 标准化资产发布-元数据其它使用场景 表 表结构 形成应用资产沉淀和传承，支持多场景多维度的统计分析，为需求分析和上下游交互提供参考依据。 敏感信息 对接数据变形和大数据用数场景，实现生产数据自动脱敏和用数权限管控，确认生产数据安全。 数据来源 调用信息 生命周期 对接数据清理构件和数据清理日志，实现数据生命周期管理。记录主辅数据关系，为数据血缘分析提供分析依据。 记录表结构下游调用信息，表结构变动时根据调用信息通知下游会签，保证变动通知的及时和完整。 数据标准 记录表字段信息需要遵循的数据标准，规范上下游使用场景。 03账实一致的探索和实践 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 账实一致探索与实践-正向保鲜 需求出发进行保鲜 技术革新进行重构 自 上而下业务外 驱 资产 管控 自下而上科技内驱 架构元数据管控平台 架构评审验证 架构模型维护 架构元数据管控平台 资产保鲜审批 资产保鲜维护 架构模型设计 系统解耦 技术创新 资产保鲜申请 需求管理 项目管理 观点三 真相往往存在代码和生产环境中 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 账实一致探索与实践-反向对账 资产和元数据管理系统 线上闭环管控 问题清单 登记数据采集数据 生产环境 治理反馈 任务审核考核统计 表表 接口数据接口 比对 调用调用 数据同步 表结调用 构数据 代码库 通报评价智能报告生成 ...... ...... 表结接口 构定义 调用数据 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 Thanks 高效运维社区DevOps时代 荣誉出品 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 THANKS 感谢大家观看 2024.6.28