数据中台实践指南（1.0版）

数据中台实践指南 （1.0版） CCSATC601大数据技术标准推进委员会 2023年6月 版权声明 本报告版权属于CCSATC601大数据技术标准推进委 员会，并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的，应注明“来源：CCSATC601大数据技术标准推进委员会”。违反上述声明者，本院将追究其相关法律责任。 编制说明 本报告的撰写得到了数据中台领域多家企业与专家的支持和帮助，主要参与单位与人员如下。 参编单位：大数据技术标准推进委员会、中移动信息技术有限公司、中国联合网络通信有限公司软件研究院、交通银行股份有限公司、上海浦东发展银行股份有限公司、平安银行股份有限公司、中国工商银行软件开发中心、中国南方电网有限责任公司、中国海洋石油集团有限公司、南方电网数字平台科技（广东）有限公司、北京精益价值科技有限公司、阿里云计算有限公司、杭州比智科技有限公司、浩鲸云计算科技股份有限公司、北京科杰科技有限公司、中电云数智科技有限公司、杭州瓴羊智能服务有限公司、星环信息科技（上海）股份有限公司、北京百分点科技集团股份有限公司、北京北明数科信息技术有限公司、北京东方金信科技股份有限公司、上海汉得信息技术股份有限公司、杭州数澜科技有限公司、快看世界（北京）科技有限公司、深圳市明源云科技有限公司 参编人员：王卓、马鹏玮、魏凯、姜春宇、闫树、史凯、骆阳、 陈卓、王一帆、丁雪莲、尚一多、叶剑、张承琪、陈柳、顾羿煌、李丹妮、周骏、张志超、颜思瀛、华桊兴、项子林、李志松、徐蓉、张喜铭、杨秋勇、徐欢、刘朝晖、高健祎、陈剑桥、杨光、张世良、张奕旋、何龙、李林洋、何夕、元一、彭洁思、黄孔元、何龙、高海玲、郭振强、高经郡、吴青、代强强、张维达、李磊、禹芳、高海华、刘译璟、马伟凯、寇蕾蕾、王宏军、郑坚财、王会、王伟哲、罗强、梁 强、熊禹、曹正炎、许锡彬、付登坡、屈世超、李润超、张辉、彭江、梅容 前言 数据作为新型生产要素，是数字化、网络化、智能化的基础，已快速融入生产、分配、流通、消费和社会服务管理等各个环节，深刻改变着生产方式、生活方式和社会治理方式。通过数字化转型以发挥数据要素对于企业的生产经营价值成为大多数企业的必然选择。数据中台承载着利用数据驱动业务决策所需的一系列能力，是众多企业建设数据能力、开展数字化转型时难以避开的话题，部分企业已经将其作为企业数字化转型的核心引擎。 数据中台的概念自诞生以来经历了不断的发展演变。当前，已成为使企业综合数据能力建设的更好的一种形式。广义的来看，数据中台是企业数据价值实现的能力框架，包括数据存储汇聚、数据开发、数据管理、数据服务、数据资产运营等能力。通常通过企业统一的一站式数据加工生产利用逻辑平台的形式具象化，是企业级数据价值生产的中枢平台。此外，在企业层面数据中台是企业业务数据化的承载体，是企业业务通过数据视角的一种呈现，担负了企业数字化所需的核心综合数据能力。 但由于数据中台建设复杂度高、投入成本大、产出见效慢、可复制性有限等特点，众多企业在建设数据中台的过程中仍存在不同程度的问题和困惑。由此，大数据技术标准推进委员会牵头，联合行业专家和头部企业共同编制《数据中台实践指南（1.0版）》，梳理数据中台历史及概念，明确数据中台的核心能力，总结数据中台建设的前提条件和不同形态，给出指导性的建设过程和建设中应注意的要点，对 数据中台建成之后的持续运营过程提供要点建议，并对数据中台的未来发展趋势进行研判。由于时间仓促，水平所限，本指南仍有不足之处，欢迎联系wangzhuo@caict.ac.cn交流探讨。 目录 一、数据中台综述1 (一)数据中台历史1 (二)数据中台概念2 (三)建设数据中台的前提条件3 (四)数据中台的目标及核心能力5 (五)数据中台的类型及适用情况7 二、企业数据中台现状及问题10 (一)数据中台的建设情况10 (二)数据中台的使用情况12 三、数据中台的建设16 (一)数据中台的阶段性建设16 (二)数据中台的建设流程22 (三)数据中台建设四大要点24 四、数据中台的运营28 (一)去冗存菁28 (二)价值量化29 (三)持续迭代30 (四)业技融合31 (五)组织保障32 五、数据中台的未来发展趋势34 图目录 图1数据中台能力成熟度模型6 图2数据中台的三种形态8 图3企业技术工具使用情况10 图4企业数据中台所包含的能力11 图5企业建设数据中台时遇到的阻碍因素12 图6企业人员数据能力培训情况12 图7企业建设数据中台的出发点13 图8企业数据中台的服务对象13 图9企业数据中台的运营部门14 图10数据中台的评价指标14 图11企业数据中台的满意度15 图12数据中台各建设阶段对应能力17 图13数据中台建设步骤流程示意图23 图14数据中台建设过程角色及职责列表24 一、数据中台综述 (一)数据中台历史 数据一直伴随着人类的发展而变迁。在古代，数据呈现出规则化汇聚的特征。例如，我国古代的黄册（全国户口名册）、天文观测记录均以特定规则进行登记造册，它们对人类社会和物理世界的性质、状态与相互关系进行记录和计算，都是宝贵的古代数据遗产。但在信息时代来临之前，人们对于数据的记录、处理、分析等工作大量依靠着纸笔等较为原始的工具手段，过程复杂且效率低下，对于数据进行利用的范围和形式难以普及推广。 在信息化时代来临之后，软件系统普及成为各行各业标配的生产工具。数据的存储、计算、分析等工作，开始可以通过相应的软件工具实现，对于数据的高效利用有了可行的技术基础。随着便捷化的信息技术不断强化企业处理数据的效率，如何更加高效的利用数据服务于自身业务成为众多企业最关心的问题。数据中台概念的诞生正是为了服务于这一目标。 数据中台的概念最初由阿里巴巴集团提出。2015年，阿里巴巴对组织架构升级调整，建设整合阿里产品技术和数据能力的中台，形成“大中台，小前台”的组织和业务体制。这一举措旨在通过整合复用组织内部的各项基础设施和数据能力，使业务产品的更新迭代速度加快、成本降低，推动企业业务利润增长。随后两三年，阿里完成了数据中台的雏形，其他互联网头部公司也纷纷跟进推进了各自的数据中 台战略。 2018年开始，在互联网媒体和各类研究机构的宣传以及互联网头部公司的示范效应的共同作用下，大量传统企业开始跟进行数据中台的建设。随后在2020年左右，大量的数据中台项目建成，但部分项目由于并没有根据企业自身需求进行规划设计，建设成果受到了成本高、不敏捷、成效难以衡量等质疑，引发了有关“拆中台”的探讨。但在之后直到今天，业界仍有大量“数据中台”项目不断设立，数据中台也成为关键词在政策文件中开始出现，行业对于数据中台的认可程度潜移默化的不断提高，其概念和内涵也在探讨中不断完善至今。 (二)数据中台概念 数据中台的定义自诞生以来经历了不断的发展演变。数据中台源于企业内部通过组织架构调整所形成的公共数据能力，通常通过将企业各部门和业务线所需的数据能力提炼并整合形成，是企业内部可复用的统一数据能力集合。而随着相关理论和技术的持续发展，数据中台成为了使企业综合数据能力建设的更好的一种形式。 当前的数据中台可通过狭义与广义两种定义来进行描述。 狭义的数据中台指在企业内部通过对数据半成品、算法、模型、工具等能力的积累，支撑业务应用，为前台提供数据能力的企业级数据中枢平台。狭义数据中台聚焦在数据服务的生产和提供，并不包括数据本身的生产、加工、传输等基础性工作。 广义的数据中台是企业数据价值实现的能力框架，包括数据存储 汇聚、数据开发、数据管理、数据服务、数据资产运营等能力。通常通过企业统一的一站式数据加工生产利用逻辑平台的形式具象化，是 企业级数据价值生产的中枢平台。 进一步的，在企业层面数据中台是企业业务数据化的承载体，是企业业务通过数据视角的一种呈现，担负了企业数字化所需的核心综合数据能力，是数据驱动企业的核心引擎。 (三)建设数据中台的前提条件 企业需要考虑自身是否有清晰的数字化战略或数据战略，战略内是否对数据中台有清晰的定义，对数据中台的建设是否有明确的目标。同时，企业应综合考量自身战略、信息化程度、组织价值、业务特性等因素，结合未来数据对企业的价值，对企业自身建设数据中台的必要性进行整体评估。若企业已累积或短期内将累积大量数据，组织架构中构建了数据团队，且业务需求变化快速，那么企业建设数据中台的必要性较高。 一般来说，数据中台并没有一个搭建标准，因为数据中台是企业的数据服务/产品生产平台，而不同企业的所属行业、信息化程度、组织架构、业务能力等不同，数据也就有所不同，所以每一家企业的数据中台都是独一无二的。由于建设需要投入大量时间、人力、资金等成本，因此也并非所有企业都适用。 企业是否引入数据中台可从以下几个因素考量： 信息化程度：企业信息化建设达到较高水平，应用系统较多，并且有大量的数据积累，当前数据利用率低。 组织结构：企业内部组织结构复杂，跨部门协作已影响到企业 深度发展。 经营模式：希望协调整合各部门之间的资源，多渠道触达。 业务特征：企业内部有多条业务线，各个业务单元之间存在重复建设的功能模块。 数据已经成为了业务的存在形式，但是当前，大量的企业的数据仍是割裂的，局部的反映不同部门或者职能条线的业务，缺少全局视角的统一的业务呈现形式，数据中台的本质就是通过数据的汇聚、加工、处理，形成对企业业务全貌的准确呈现，并基于这个统一的数据资产，生产对应的数据服务反馈回业务系统，让业务系统更加智慧1。因此，不论是小企业还是大企业，不论是什么行业的企业，只要是希望通过数据来进行全局业务优化，通过数据挖掘业务价值的企业，都需要建设自己的数据中台。 不同于数据仓库和大数据平台，数据中台是一个业务价值创造平台，而不仅是数据资源的生产平台1。数据中台的目标是要为业务提供看得见，摸得着，可度量的价值。因此，数据中台的建设前提条件是有可以让数据产生价值的业务场景。 而业务场景的探索和识别，是与企业的业务战略紧密相关的，只有在与业务战略一致的基础上，依托数据中台，对企业全域数据资产进行开发和应用，以公共的建设保障各业务线的使用，才能保证当前的重投入，保障未来的高产出。所以，数据中台建设的第一步，是需要以一个价值驱动的规划来勾勒出业务场景蓝图，然后再按图索骥， 1《精益数据方法论：数据驱动的数字化转型》 逐步建设。如果找不到有价值的业务场景，则不适合全面建设数据中台，可使用数据中台中的某个模块如数据仓库、数据湖、数据资产管理等先行解决当前问题。 (四)数据中台的目标及核心能力 数据中台的总体目标是使数据产生业务价值。 具体来说，企业可以通过建设数据中台构建各项能力，弥合数据供需鸿沟，使数据能够驱动企业提升经营效率、实现业务价值。这一目标具体拆解开来包括快速响应数据需求、建设统一数据平台、打通企业数据资产、提供统一数据服务、数据直接参与业务、产生包括客户价值在内的企业价值等。 为实现上述的一系列目标，数据中台需要具备将各类原始数据进行汇聚、整合、加工、提炼以形成数据半成品，并进一步对其进行分析形成可用的数据服务内容，向数据分析师和业务应用方提供服务的一系列能力。相应的，数据中台作为完成这一系列动作的企业综合数据能力集合，其核心能力必须包括数据汇聚存储、数据开发、数据服务、数据管理、数据资产运营等。 在实践中，企业构建自身数据中台核心能力时，以平台工具建设驱动的形式较多，然而各项能力在这些技术工具之外，仍有较多非工具类能力。同时在部分通用的技术工具之外，个别针对性的高阶需求仍需非通用的专门技术工具进行支持，因此在将数据中台较为通用性的技术工具提取出之后，各项能力需求的本质将更为凸显。在中国信 通院牵头编制的《数据中台能力成熟度模型》系列标准中，企业数据 中台能力划分为了技术工具、架构管理、数据开发、数据服务、数据管理、数据资产运营六大能力域，在全面覆盖了企业数据中台核心能力的同时，也体现了各类能力对应的层次。具体来看