商业银行数据模型白皮书

CCSATC601大数据技术标准推进委员会 2023年12月 商业银行数据模型白皮书 版权声明 本报告版权属于CCSATC601大数据技术标准推进委员会，并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的，应注明“来源：CCSATC601大数据技术标准推进委员会”。违反上述声明者，将追究其相关法律责任。 编制说明 本报告的撰写得到了银行业数据模型领域多家企业与专家的支持和帮助，主要参与单位与人员如下。 参编单位： 大数据技术标准推进委员会、中国建设银行、中国工商银行、中国农业银行、交通银行、中国邮政储蓄银行、国际商业机器（中国）有限公司、北京数语科技有限公司。 参编人员： 林木森、尹正、田明慧、姜春宇、闫树、王妙琼、阚鑫禹、李雨霏、周圣文、张娇婷、周京晶、刘思达、郭彦美、谢坤、车春雷、董国田、刘巍、赵焕芳、唐守忠、孙琳、史珂宇、朱红伟、周学张、孙伟、赵广祥、周强、齐慧娟、陈驰杰、王宁、赵培然、任力强、张放、胡瑞娟、张立、司晓伟、冯立雪、高赛、王墨飞、贾宁、卢翼、田康志、张玉明、赵后钰、王琤、黎山 特别鸣谢以下专家对本指南编写的指导与建议： 赵后钰、车春雷、董国田、刘巍、周学张、孙伟、赵广祥、周强、齐慧娟、黎山、赵焕芳、唐守忠、朱红伟、史珂宇、张立 前言 中共中央国务院发布《关于构建数据基础制度更好发挥数据要素作用的意见》提出要“完善治理体系，压实企业的数据治理责任，保障安全发展”，对企业参与数据要素市场建设提出了明确的要求。《“十四五”大数据产业发展规划》中强调“构建行业数据治理体系，提升行业数据治理水平”，鼓励企业发挥技术驱动治理的作用，融合数据模型、数据分布、数据集成与共享等细分领域，应用于数据治理的全流程。人民银行印发《金融科技发展规划（2022-2025年）》中提出“高质量推进金融数字化转型，全面塑造数字化能力”，标志着银行业向推进数据治理管理的方向转变。 数据治理是银行业高质量推进数字化转型的重要基础。随着监管部门对数据安全、数据质量要求的不断提高，银行机构亟需深化对数据的精细化管理，确保数据的准确性、安全性以及合规性。银行通过建立统一的数据标准，规范数据采集、处理、存储和使用等流程，提高数据的质量和价值，避免数据泄露、不合规使用等问题，为数字化转型提供可靠的数据基础。 数据模型建设是推动高质量数据治理体系的核心环节。银行业作为早期开展数字化转型的行业，在取得了诸多显著的成果同时，也暴露出了一些问题。在银行的数据管理模式从粗放式扩张向集约式管理转变的过程中，出现了数据架构、数据质量等方面的问题。例如，数据质量无法满足运营安全要求，数据架构难以支撑业务创新需求等。构建企业级数据模型可以帮助银行厘清数据分布关系，优化数据架构，确保数据的一致性、完整性和易用性，进而提升数据应用效率，激发数据的业务价值。 《商业银行数据模型白皮书》是由大数据技术标准推进委员会牵头，联合来自国有大型商业银行、IBM和数语科技的专家，经过共同深度探讨与总结而成的重要成果。白皮书从理论层面剖析了商业银行数据建模的模式及方法，从实践应用层面阐述了国有大型银行的建模思路和建模成果，旨在为银行业的数据建模提供参考框架和指引，也为其他行业在大数据建模方面提供参考和启示。 CONTENTS 目录 前言 一、商业银行数据模型概述 （一）商业银行业数据模型发展经历四个阶段01 （二）数据模型具有四大价值03 二、数据模型建设模式 （一）贯彻企业战略—基于企业架构视角建模04 （二）穿透场景应用—基于应用场景视角建模06 （三）两种数据模型建设模式对比07 三、数据模型设计原则与研发工艺 （一）数据模型设计的六项原则08 （二）概念数据模型09 （三）逻辑数据模型10 （四）物理数据模型12 四、数据模型管理保障措施 （一）组织管理14 （二）流程管理16 （三）工具管理17 五、国内大型银行数据模型实践案例 （一）建设银行基于FSDM模型构建企业级数据模型18 （二）农业银行基于FS-LDM模型构建企业级数据模型20 （三）交通银行基于企业架构方法论构建企业级数据模型23 六、银行业数据模型发展趋势 （一）加速探索数据模型自主创新25 （二）加快适应新型数据管理理念25 （三）敏捷响应市场业务需求变化25 （四）加强构建数据模型评价体系26 附录商业银行数据模型参考 （一）术语和定义27 （二）商业银行数据模型参考27 参考文献 图目录 图 1流程模型、数据模型、产品模型三者关系参照图 05 图 2数据应用场景视角数据模型参照图 06 图 3两种建模模式对比分析 07 图 4概念数据模型示意图 09 图 5概念分类模型工艺 10 图 6逻辑模型框架示意图（参与人主题） 10 图 7逻辑模型实施工艺参考示意图 11 图 8物理模型框架示意图（参与人主题） 12 图 9某银行数据模型管理组织示意图 14 图 10某银行数据模型管理制度和对应流程示意图 15 图 11中国建设银行数据模型管控体系 18 图 12中国建设银行数据模型建设阶段 19 图 13中国建设银行C模型主题分类 20 图 14中国农业银行DataOps数据设计研发流水线 21 图 15中国农业银行数据架构图 22 图 16中国农业银行数据模型细化环节 22 图 17交通银行数据模型双“T”架构 23 图 18企业架构总体视图 24 表目录 表1数据模型相关人员主要职责15 表2数据模型管理相关制度规范示例17 表3数据模型管理平台的核心功能17 一、商业银行数据模型概述 数据模型：是指使用结构化的语言将收集到的企业业务经营、管理和决策中使用的数据需求进行综合分析，按照模型设计规范将需求重新组织形成的结构化模型1。 数据模型是银行数据架构管理的基础领域。如:基础数据标准体系建设需要依赖数据模型，数据分布需要依赖企业级逻辑模型，以明确主要实体的主辅应用；数据生命周期管理需要依据数据所属主题和功能判断数据的在线、离线和归档周期。 完整、高质、稳定的数据模型有利于统一业务概念，促进信息整合和知识积累，维持数据库稳定，提高应用开发质量，同时也可以作为技术与业务之间沟通的工具。 数据模型包括了三个部分2:数据结构、数据操作、数据约束。 数据结构:数据模型中的数据结构主要用来描述数据的类型、内容、性质以及数据间的联系等。数据结构是数据模型的基础，数据操作和数据约束都基本上是建立在数据结构之上的。不同的数据结构具有不同的操作和约束。 数据操作:数据模型中的数据操作主要用来描述在相应数据结构上的操作类型和操作方式。 数据约束:数据模型中的数据约束主要用来描述数据结构内数据间的语法、词义联系、它们之间的制约和依存关系，以及数据动态变化的规则，以保证数据的正确、有效和相容。 （一）商业银行业数据模型发展经历四个阶段 银行业作为我国经济金融的基础，是我国金融体系的重要组成部分。改革开放以来，我国银行业持续根据市场以及国家总体情况进行探索与改革，逐步完成了从完全由国家接管，到相对独立的发展过程。我国银行业发展主要可概括为四个阶段3： 1《数据管理能力成熟度评估模型》 2《银行数据治理》(2016) 3《中国银行业70年：简要历程、主要特点和历史经验》 第一阶段为1979年至1992年，为探寻市场化发展阶段，数据模型处于“无意识”管理状态。期间我国银行信用机制建立、设立了股份制银行，银行开始独立经营。这一阶段，我国银行业处于系统林立时期，数据分散存储于各类信息系统中，原始系统中的数据格式、数据模型、数据标准都很不统一。 第二阶段为1992年至2001年，为市场化改革阶段，数据模型进入了集约化管理时期。期间我国银行专业化运营方向得以确定，银行的商业任务与政治任务进行了分离，此外银行的法制化建设持续推进，建立了银行间市场。1999年工商银行率先启动了数据大集中工程项目，随后国有银行纷纷推进数据的大集中建设，银行业信息化进入“大集约”时期。 第三阶段为2002年至2017年，该阶段为国际化改革阶段，数据模型管理对标国际能力。期间我国国有商业银行通过股改上市，同时央行开始发行债券。银监会的成立使得银行业风险控制能力得到较大提升。2001年12月11日中国正式加入世界贸易组织（WTO），标志着中国对外开放进入了一个新的阶段，此阶段内我国多家银行设立了境外分支机构，国际化发展步入正轨。在“十一五”计划期间，国内银行业科技的重心从单一系统建设转向统一的数据模型和数据仓库的建设。许多银行选择引入或参考国际主流的数据模型方案（例如，国际商业机器公司（IBM）提出的FSDM模型和由天睿公司（Teradata）提出的FS-LDM模型）。 第四阶段为2017年至今，我国银行业持续推进数字化转型、不断增强服务实体的能力，数据模型谋求本土化。近年来金融科技快速发展，依托云计算、数据库、区块链等计算机技术的银行业务持续创新，为银行带来新的成长动能。此时，大部分的商业银行都对行内数据进行了梳理盘点，尝试建立企业级的数据模型，并取得了一定的成果，但随着移动支付等一系列具有中国特色的业务的发展，国外的数据模型方案出现了“水土不服”。 当前，我国经济处于发展的关键阶段，银行在这一阶段既要保证快速响应市场需求，也要坚守安全合规底线。如何建立起适应这一发展特点的企业级数据模型将成为进一步提升银行数据管理效率和质量的重点。 （二）数据模型具有四大价值 在数据生产和管理过程中，数据模型发挥着关键作用，高质量的数据模型具有以下价值： 构建业务与技术沟通的桥梁。良好的数据模型有利于统一银行内部人员对业务定义与术语的认知，提升银行内跨业务、跨团队的沟通效率。 保障业务与数据架构的一致性。数据模型的研发需要依托于业务架构，良好的数据模型有利于从组织层面上，保障业务架构与数据架构的一致性，指导银行内系统建设与业务创新。 优化数据成本。按照数据模型要求进行数据的研发应用，可以有效减少数据存储的冗余，增强数据的复用性，避免了孤岛式、烟囱式建设。优化数据的存储、建设和应用成本。 提升业务决策能力。数据模型的建立有助于明确数据流向，保障数据的真实性，为行内业务决策者和数据使用者提供可靠的数据分析与应用，助力发挥数据价值。 二、数据模型建设模式 通过对我国大型商业银行内模型领域专家开展广泛调研与讨论，我们发现，当前普遍存在两类数据模型建模方式，一是从企业架构视角进行建模，二是从数据应用场景视角进行建模。下面，我们将分别介绍这两种模式的建设流程及特点，并对二者进行对比，便于读者进行选择。 （一）贯彻企业战略—基于企业架构视角建模 基于企业级架构视角的模型是以企业战略为核心，依托业务模型建立企业级数据标准，贯穿战略层面与系统应用层面。基于企业级架构视角的模型建设有助于打破组织内IT系统的孤岛式建设，核心任务是对银行内战略的分解、传导，帮助企业将零散的能力“聚沙成塔”，确保战略意图和绩效指标逐层落实到每一个流程步骤、程序模块、操作规范中。 企业级架构中的业务模型从产品、流程及数据三个角度，对企业的业务运营进行精细化、结构化的描述。 产品模型，主要包括产品分类结构、产品组件、产品条件和产品参数，以及可售产品实例化；通过对企业产品分类来优化和完善产品目录，确定与产品相关的业务规则、约束、价格等关键要素，并采用产品条件及参数的形式表达；在操作流程中由产品确定的相关业务规则形成企业级的产品模型。 流程模型，是业务模型的主线，描述了客户端到端的业务操作流程；通过提取业务的变量（比如客户C、产品P、渠道C和合作方P），形成汇总的企业级流程，保证渠道、产品线之间业务流程的一致性以提供卓越的客户体验；流程模型能够包容客户、产品、渠道及合作方的差异，支持线上线下全渠道整合，体现端到端的完整业务处理流程，为客户提供跨渠道的、一致的体验和一站式的产品服务。 数据模型，是将流程模型以及产品模型中产生的所有数据需求进行逻辑化和抽象化表示，反映企业的战略目标在实施过程中所用