数据中台能力框架及评估体系解读
数据中台能力框架及评估体系解读 演讲人：王卓 中国信通院秉持“国家高端专业智库产业创新发展平台”的宗旨和要求，在大数据领域积极落实国家战略，为国务院及工信部、网信办、发改委等部委完成了大量支撑工作，获得广泛认可 着力发布大数据研究成果 在大数据领域深入研究，共计发布白皮书等研究成果50余份 持续开展大数据产品能力评测 01 发展背景及相关概念 02 03 目录数据中台能力框架 04 CONTENTS数据中台能力成熟度评估未来计划 2015年，阿里巴巴对组织架构升级调整，建设整合阿里产品技术和数据能力的中台， 形成“大中台，小前台”的组织和业务体制 源于避免重复造轮子、快速迭代、数据驱动、业务驱动等硅谷互联网公司的核心理念 2015年，调研芬兰小型游戏公司Supercell（200人规模，15亿美元年利润） 不超过7人的小团队快速决策、研发并将产品推向市场，不需要重复开发游戏引擎、数据分析、服务器等后台基础设施和服务 当时，中台（数据中台、技术中台、业务中台）的核心目标是通过整合复用组织内部的各项基础设施和能力，使业务产品的更新迭代速度加快、成本降低，推动企业业务利润增长，多适用于互联网企业 中台的构建从一开始就是组织级的面向业务的架构调整 2018~2019 在互联网头部企业的示范作用下，大量企业开始跟进建设 互联网媒体、研究机构纷纷大 量宣传并产出相关研究成果 2021至今 理论及技术发展相对成熟 数据中台成为关键词在政策文 件中开始出现 更多的项目持续推进 2015~2018 2015年，阿里巴巴提出“大中台， 小前台”战略 随后两三年，数据中台雏形产生 2018年，腾讯、百度、京东、美团等纷纷跟进数据中台战略 2020~2021 大量中台项目建成，效果难以衡量 出现部分对于数据中台成本高、不敏捷等问题的质疑声音，引发广泛探讨 “拆中台”成为备受关注的关键词 阿里巴巴认为：数据中台是集方法论、组织和工具于一体 的,“快”、“准”、 “全”、“统”、“通”的智能大数据体系 2019年，OneData方法论体系 （OneModel、 OneID、OneService） 大型互联网公司 金融机构 某大型股份制银行 2005年开始建设数据仓库 2015年前后建设大数 据平台 2015~2016年进行数据治理 2020年开始建设数据中台项目（数据服务能力，体系建设） 集团型央企 2022年，某央企立项建设数据中台 项目建设中主要完成了大数据平台、数据管理平台等技术工具部署 同时建立了一系列数据管理制度及规范 2014~2015年起，字节跳动逐步建立数据平台，至今形成“中台+BP制”模式 建立“0987”量化的数据服务体系标准：稳定性达到0个事故， 需求满足率达到90%，数仓构建覆盖80% 的需求，用户满意度达到70% 新兴互联网公司 经过不断演化，数据中台的概念已不仅仅是整合复用企业内部的数据，已经泛化为使企业综合数据能力建设的更好的一种形式 业界对于数据中台的实践，也从开始的狭义定义向着当前能更好的 提升企业综合数据能力的高质量数据中台概念演进 统一复用高效 数据中台的总体目标是使数据产生“业务价值” 通过构建各项能力，弥合数据供需鸿沟，使数据能够驱动企业提升经营效率、实现业务价值 数据中台是企业数据价值实现的能力框架，包括数据存储汇聚、数据开发、数据管理、数据服务、数据资产运营等 “简单来说，数据中台就是企业为了使数据产生业务价值所需要构建的能力集合。” 对于数据的存储及体系化管理是数据中台能力集合中必不可少的组成部分 完善的数据架构设计是建 好数据中台的重要前提 能力集合 数据中台 关键内容：数据建模、数据分层、数据分域、全量数据、统一元数据 承载数据存储能力的技术平台 实现对于大多数组织内部结构化和非结构化数据的汇聚存储 固定数据组织形式及架构的物理环境 数据仓库/数据湖 VS 对数据进行管理和治理，是提升数据中台中数据可用性的重要能力 效果直接影响数据中台能 够产生的价值上限 能力集合 数据中台 DAMA中有较为全面和复杂的定义 提升数据质量和潜在价值 通过组织制度及管理手段贯彻相关举措 当前仍以人工为主，但有相应的辅助工具 关键内容：数据质量、数据标准、元数据、主数据、数据安全治理 数据管理/数据治理 VS 通过数据开发过程将数据加工成满足数据分析师或业务人员需求的形态 数据开发能力是维持数据 中台持续运转的必要能力 能力集合 数据中台 通过一定的人员、流程、技术手段对数据开发过程进行优化和提升 使数据开发能力工程化、敏捷化、自动化 数据全生命周期耦合化加深，强化流程间、人员间协同能力 关键内容：协同、数据开发链路优化、持续迭代、工具化、智能化 DataOps VS 01 发展背景及相关概念 02 03 目录数据中台能力框架 04 CONTENTS数据中台能力成熟度评估未来计划 应用单位实际建设应用数据中台项目时 资源投入不均衡，资金投入为主，内部主动性和协同性有所欠缺 部分企业期望过高，不符合企业实际情况 业务参与有限，业务场景需求梳理不到位 建设周期长，成效体现慢，应用效果欠佳 难以一步到位，需要长期的更新迭代以完善能力 构建通用方法论，指导企业建设 建立企业数据能力评价 体系，直观衡量成效 建立面向数据中台建设应用情况的成熟度模型： 1.构建数据中台能力集合的完整框架，全面梳理数据中台 所需要的各项能力，以及相互之间的关系 2.形成数据中台能力评价体系，明确支撑数据中台建设及应用的各个方面，及相应的评价维度 3.面向企业数据中台建设及应用过程，可持续性的通过自我对标及评价明确当前的能力水平及后续提升方向 数据应用 数据获取及探索 数据分析服务 数据服务管理 架构设计 子能力域 数据体系 技术体系 数据开发 子能力域 开发能力 流程管理能力 环境管理能力 数据管理 子能力域 元数据管理主数据管理 数据标准 数据质量数据安全 数据资产运营 子能力域 数据资产生命周期运营数据资产运营平台 进《阶数级据 、中 优台子 秀能能 级力力 、成域 卓熟越度级模 5 、型引》领共级划 技术工具 级 等 个 分入门级 、 数据服务 从2022年4月起，各项工作逐步推进 技术工具能力域从软件平台功能的角度集中体现了企业建设数据中台所需的技术工具能力集合 能力域 架构设计 子能力域 数据体系 技术体系 一级能力项 服务架构设计 数据架构设计 数据安全设计 集成架构设计 平台架构设计 安全架构设计 二级能力项 主题式服务架构 数据流向 采集安全 数据集成 技术选型 空间管理 数据资源目 录 数据分层 存储安全 网络架构 角色管理 数据分域 加工安全 资源规划 租户管理 数据模型 服务安全 部署架构 安全审计 设计规范 聚焦： 湖仓设计、数据建模、数据集成、平台集成架构、安全架构 需求的过程 能力域 数据服务 子能力域 数据获取及探索 数据分析服务 数据服务管理 一级能力 项 数据获取服务 数据目录 自助分析服务 分析模型服务 指标及标 签管理 服务管理 接口能力 二级能力项 数据导出 元数据查 询 自助分析 分析模型管理 指标体系 管理 服务安全管控 服务接口支持 数据推送 样例数据 预览 模型运行 标签体系 管理 服务运营 接口开发 服务门户 接口运维 聚焦： 数据探索、数据获取、自助分析、模型管理、指标和标签管理 能力域 子能数据资产生命周期运 数据资产运营 聚焦： 资产生命周期、评价体系、运营制度与策略 数据资 产运营 力域营 数据资产运营评价 制度与策略 数据资产运营平台 一级数据数据 能力资产资产 数据数据数据数据 评价 资产资产资产资产 数据数据资产资产 数据资数据资数据资数据资数据资数据资数据资数据资 评价 评价 （可管）（可找）（可知）（可用）（可评） 产价值产运营产运营产管理产查找产易读产流通产评价 项规划引入 推广使用优化质量 安全运营评价 制度策略能力 能力能力能力能力 能力域 数据开发 子能力域 开发能力 流程管理能力 环境管理能力 能力域 数据管理 子能力域 元数据管理 主数据管理 数据标准 数据质量 数据安全 中国信通院、中国移动、工商银行、浦发银行、交通银行、平安银行、中国联通、农业银行、交通银行、黑龙江移动、浙江移动、南京银行、光大银行、阿里云、奇点云、星环科技、浩鲸科技、网易数帆、中兴通讯、凯捷咨询、科杰科技、百分点、数澜科技、中电金信、数语科技、明源云、科大讯飞、观远数据、数梦工场、百度、爱数、云徙科技、四方伟业、安永、数势科技、德拓信息、云粒智慧、华傲数据、中电鸿信、融信数联等 01 发展背景及相关概念 02 03 目录数据中台能力框架 04 CONTENTS数据中台能力成熟度评估未来计划 数据中台能力成熟度评估 数据管理 数据资产运营 数据发开 数据服务 架构设计 技术工具 数据中台能力成熟度评估启动，评估将面向数据中台应用者，以数据中台能力成熟度模型中各能力域为单位，分别提供独立评估服务 通过评估将对企业在数据中台某个能力域的实践能力进行定级，并给 出相应提升建议 评估流程主要包括前期准备、中期实施、后期审核三个阶段 01 发展背景及相关概念 02 03 目录数据中台能力框架 04 CONTENTS数据中台能力成熟度评估未来计划 THANKYOU!
