夯实企业数据能力基础，用好数据中台这把尚方宝剑
夯实企业数据能力基础，用好数据中台这把 尚方宝剑 背景概况： “十四五”规划中，国务院国资委在《关于加快推进国有企业数字化转型工作的通知》中提出了加速传统企业全方位、全角度、全链条的数字化转型。随后，各行各业的相关监管机构也对数字化提出新的要求，例如银保监会在今年发布了《关于银行业保险业数字化转型的指导意见》。数字化转型的本质是企业对自身数据资产逐步实现管理运用的过程，数据资产在集成整合的基础上才能更好地发挥其价值。大部分企业通过构建数据中台、数据湖等数据平台以求实现数据资产的整合，但由于企业缺乏顶层设计和规划，无法发挥这些数据平台的价值，信息孤岛问题依旧是当今数字化过程的痛点之一。 一、数字化转型背景下的数据中台“热潮” 企业数字化转型路径 企业的数字化可以划分为三个不同的阶段过程：信息化、数字化、智能化。 信息化阶段：企业逐步实现业务和管理的信息化，信息的留存由人工记录的形式转为系统存储，但信息价值未被深入地开发利用。 数字化阶段：企业在这一阶段开始打通自身的信息孤岛，让数据得以链接，并通过人机交互产生价值，最终将原先系统跟系统之间的互联互通升级为人、机器之间的互联互通。 智能化阶段：随着数据的成熟应用，企业开始通过数据驱动、数据赋能实现业务、管理决策的自动化。 数字化阶段是一个分水岭，在此阶段前，企业侧重于数据的存储采集、处理效率。此阶段后，企业逐步打破信息壁垒，致力于实现数据资产的整合及价值挖掘。 信息化 阶段特点：企业在有一定的业务基础后，开始逐渐建立各种业务管理系统，通过系统代替原先的手工台账及人工计算，业务信息记录在专业的数据库中。 数字化 阶段特点：企业打通自身的信息孤岛并让数据得以链接，实现人与人、人与机器、机器与机器之间的互联互通。 智能化 阶段特点：企业实现由“人”决策，转为由“数据智能”进行决策，通过数据赋能对业务、管理流程进行重构。 渐渐褪去的“热潮” 数据中台是中国本土诞生的一个名词，也是近些年的行业风口，处在数字化阶段或者即将迈向数字化阶段的企业似乎都会采购与开发一套相关的数据产品，试图打破自身的信息壁垒，实现数据资产整合利用。在国家战略和政策对数字化转型的支持下，数据中台的市场规模在前期呈现明显增长，但增长幅度却未能维持，呈持续下降趋势。 2018年-2023年中国数据中台市场规模 市场规模（亿元）增长率 200 150 100 50 0 140% 120% 100% 80% 60% 40% 20% 0% 201820192020202120222023 数据来源：艾瑞咨询《中国数据中台行业白皮书》 数据中台的困境和挑战 数据中台为企业提供了高效查询和低成本存储的基础，赋能了企业的运营和决策，但大部分企业难以运用和掌握数据中台所带来的能力，导致其成效不高、投资回报周期长，这也一定程度解释了市场反响逐年下降的原因。企业在数据中台上所面临的困境有以下原因。 1.认知浅薄，推广不到位：部分的企业管理者和相关团队对数据中台缺乏全面认知，在盲目跟风下进行搭建，且未在企业中进行推广和宣导。 2.缺乏顶层设计规划：在搭建之初部分的企业未进行流程、架构和管理体系等方面的规划设计，依旧沿袭过去烟囱式的数据开发、信息存储，导致数据使用依旧呈现混乱的局面。 3.数据管理能力不匹配：部分的企业注重于汇聚数据，而忽视了对数据本身的管理，数据在各环节中存在数据来源不清晰、数据口径不统一和数据质量难把控等问题，导致用数困难。 二、数据中台的两块砥石——企业级数据治理体系与数据模型 企业级数据治理体系与数据模型共同构成了企业数据能力的基础，只有夯实了数据基础，企业才能有效地发挥数据中台的价值。 企业数据治理体系下的数据中台管理 数据中台与数据治理应是相辅相成的关系。数据中台汇聚了各方数据并承载了分析人员的数据需求，适合以其作为抓手，发现数据使用过程中的薄弱环节，促进数据治理体系的形成和落地。同时，数据治理体系加强了数据中台的服务能力。数据中台的实施需要在企业数据治理体系下进行管理和约束，要考虑和遵循数据标准、数据安全、元数据和数据质量等管理领域的要求和规范。 数据资产管理运营框架共享共治共建 保障体系 人才建设 评价机制 审计机制 管理政策和程序 管理策略 管理架构 数据资产运营 确权 法规 制度、流程资产确权…… 估值方法 计量 估值管理 …… 估值 交易平台 风险管控 隐私保护 …… 流通 数据产品开发 融通、共享 赋能 …… 服务 数据资产增值 数据资产质量 数据资产评价 数据安全 管理 数据资产管理 数据资产管理框架 识别 评估 盘点 应用 变更 处置 内外部数据统一管理 元数据管理 数据资产管理职能 数据价值管理 数据共享管理 数据质量管理 数据模型管理 主数据管理 数据标准管理 数据安全管理 数据资产目录 数据资产地图 数据资产分析 标签与指标 数据血缘关系 数据资产盘点 数据生命周期管理：采集、传输、存储、处理、共享、销毁 平台工具（数据中台） 企业有必要构建专业的数据运维团队，将数据治理的理念与要求融入团队，沉淀出原则和方法论，制定数据开发流程并搭建数据治理开发平台，以保证数据中台平稳、规范地运作，并能持续得到优化。 企业数据治理体系 环节输入 ►数据需求单表、字段需求是否紧急 是否需要记录数据变更轨迹 …… 环节输入 ►业务系统元数据数据字典 系统需求说明书 ►数据平台开发规范数据模型统一命名规范 数据模型枚举值 环节输入 ►数据模型开发方案数据加载策略 初始化方案数据验证语句 环节输入 ►数据模型开发方案 ►数据模型交付说明归属主题域 表、字段说明枚举值 …… 1 3 2 4 数据范围信息探索与设计模型开发与测试模型上线与交付 环节输出 ►需求排期 数据模型测试时间数据模型开发完成时间 数据模型设计人员数据模型开发人员 …… 环节输出 ►映射文档 业务系统数据与数据模型的映射关系 字段级数据加工逻辑 ►E-R关系图 ►数据模型开发方案 环节输出 ►建表语句 ►ETL脚本 ►测试报告 ►开放元数据更新 …… 环节输出 ►数据验证确认 ►数据交付确认 …… 数据治理开发平台 数据中台下的企业级数据模型设计 在数据中台的搭建中，数据模型是整合多源异构信息的关键，也是业务与技术沟通的桥梁。数模设计是一个老生常谈的问题，业内也有多套方法理论，常见的以维度建模和关系建模为主，但企业和厂商都有不同的见解，关键问题是如何做好数据一致性与成本效率的取舍。 维度建模 创始人：RalphKimball 数据仓库方面的知名学者、维度建模的提出者 特点： 面向分析应用场景的建模方法，通过度量和维度进行数据的组织 优点： 数据针对各个维度进行了预先的处理，极大地提升了分析效率。面向需求，构建成本低 缺点： 容易造成数据冗余，丧失数据的一致性，使数据中台变为“数据沼泽” 关系建模 创始人：BillInmon 数据仓库之父，数据仓库概念、关系建模的创始人 特点： 遵循三范式，通过业务实体间的关系对数据进行组织 优点： 数据冗余少，更新、存储效率高，可保证数据的一致性 缺点： 设计成本高，周期长，依赖于数据模型团队本身的经验和资产沉淀 VS 来源出处：BillInmon《BuildingtheDataWarehouse》、RalphKimball《TheDataWarehouseTookit》 在模型设计上，企业可考虑两个方面。 1.模型所在的架构层级：数据中台是分层级进行运作和维护的，由于数据架构的规划中每一层级都有各自的目的，往往应结合实际的需求去考虑实施的理论，这样才能使得效益最大化。 交付 方便对接入层数据的使用。 可能有多种使用方式，比如在线分析，统计分析，报表，仪表盘或者各类应用程序等 数据源 接入各种系统或者流程涉及的应该或者可能用作分析的数据。包括： 1.结构化数据，如业务系统的客户数据和交易数据 2.多结构化数据，如日志数据、机器数据或文本数据等 无需整合建模关系建模/维度建模维度建模 ODS贴源层 目的和特点： ►进入数据中台的接入点 ►从一个或者多个源系统获取数据 ADS应用层 目的和特点： ►面向特定业务问题，对数据模型重新组织 ►在安全和可控的环境中最大化用户使用友好度 ►优化回答业务问题的性能 DWD+DWS整合层 目的和特点： ►面向企业级需求，中立于特定流程及应用 ►对逻辑数据模型的物理实现 ►目的是以单一整合的数据格式存储数据 ►以提升跨功能域的使用性能和效率 2.数据的价值密度：以保险行业为例，客户数据和核心交易数据在各个分析场景都会被普遍使用，价值密度高，应以关系建模进行设计，保证这些数据的一致性。但行程步数、文章浏览记录等互联网数据，数据价值密度并不高，只适用于很少量的分析场景，更适合通过维度模型进行设计以降低成本。 模型设计的出发点是为了企业数据平台更好地进行数据的组织、存储和使用。理论上，没有一种完全适配所有场景的建模理论，企业需要在特定的场景下，在性能、成本、效率和数据质量中做出选择，找到平衡点。 访问性能 数据成本 使用效率 数据质量 ►数据使用者能够快速查询所需的数据，减少数据I/O以及查询时耗。 ►减少不必要的数据冗余，实现计算结果数据复用，降低大数据系统中的存储成本和计算成本。 ►改善用户应用体验，提升数据分析的便利性及数据使用效率。 ►解决数据统计口径的不一致性，减少数据错误的可能性，提供高质量、高一致性的数据访问。 三、案例实践 某寿险企业在数字化转型阶段，通过数据治理和数据中台两头共进的方式，成功解决自身的数据痛点，实现数据资产的价值挖掘。 该企业在数据中台搭建前期所面临的痛点： 1.多源异构的信息： 企业采集接入内外部信息，由于不同的形态和口径造成数据管理和分析的成本上升。 2.历史数据质量差： 历史存量数据质量问题多，数据不可用，分析难度大。 3.烟囱式的应用开发： 不同部门的数据人员各自开发报表，相同含义的指标在不同报表存在不同的加工逻辑，未实现数据共享，资源难以沉淀。 最终，该企业通过以下手段和对策逐一解决痛点。 1.制定数据标准且严格实施： 制定统一的数据标准，在数据中台参照数据标准进行规划和实施，确保同一口径的数据在各层级中以相同的规范和格式进行存储。 2.建立数据质量机制： 在数据中台建立数据质量评估机制，采取事前和事后的处理机制。对于增量数据采取事前处理，避免出现新的脏数据，并在源头解决数据质量问题。对于存量数据采取事后处理机制，通过专项行动，定期解决历史数据问题。 3.重视数据中台的顶层设计： 贴源层 客户信息 源系统 交易数据 触点数据 日志数据 行为数据 埋点数据 客户视图 分群分层 客户脸谱 服务图谱 智能风控 …… 业务应用 合理规划数据中台的架构与数据模型设计，规范明细数据和汇总数据的模型设计。从明细数据来看，企业采取关系建模和维度建模相结合的方式进行设计，对黄金数据注重集成整合，对边缘数据注重高效实现。从汇总数据来看，企业建立统一的指标库和标签库，保证共用汇总数据的一致性。以面向客户主题的专题分析为例，其建立自然人、法人分析库，预先加工共用的客户统一分析需求，如客户标签、客户关系分析、客户价值分析等，支撑客户视图、客户脸谱等，统一了客户分析的数据口径，避免了烟囱式的应用开发。 公共数据层 客户标签 客户统一分析 客户关系 明细数据 汇总数据 自然人分析库法人分析库 客户价值 客户需求线索分析 活动分析产品分析 风险分析…… 四、团队介绍 安永金融管理咨询团队以多年的专业实践沉淀，积累了丰富的数字化转型实施经验，能为包括金融业在内的各企业提供数字化转型一站式解决方案，从数据治理、中台建设，到前端产品应用，致力充分激发客户多年沉淀的业务数据价值，发挥数据经营决策效能，为企业发展
