企业数字化转型的数据治理概述

企业数字化转型的数据治理概述 Classified 在今天，数字化生产已逐步成为普遍商业模式 数字 化生产模式：以数据为处理对象，以ICT平台为生产工具，以软件为载体，以服务为目的的生产过程 平台2加工平台1初始数据 智能终端 数据处理2接触客户1数据分析获取数据 3需求收入 6提供 筛选平台3应用 机会4开发5服务 部署服务 商业循环：数据变机会、机会变服务、服务变收入 IC T:InformationandCommunicationTechnologies信息与通讯科技 4 Classified 人工智能销售预测模型的建立 数据要准确考量数据特性预测目标计算资源业务需求模型的评估和调优；交叉验证、超参数调整 Classified 人工智能销售预测模型的建立 １.传统时间序列分析－纪要历史数据来预测未来趋势 自回归（ＡＲ）、移动平均（ＭＡ）、自回归移动平均（ＡＲＭＡ）季节性自回归移 动平均２.机器学习模型 线性回归决策树、随机森林（处理非线性关系） ３.深度学习模型 循环神经网络（RNN）、卷积神经网络（CNN） ４.混合模型 Classified Classified 数字化转型的核心：“业务优化”和“业务转型” DigitalBusinessStrategy DigitalBusiness Optimization DigitalBusinessTransformation ImprovedProductivityandExistingRevenue BetterCustomerExperience Net-NewRevenueProductandServices NewBusinessModels ：Gartner 4 Classified 数据分析 1.提出问题 2.理解数据 3.数据清洗 4.构建模型 5.数据可视化 •为什么要分析 •哪些分析指标 •得到什么结果 •需要哪些数据 •数据量 •数据类型 •数据内容 •数据属性 •选择全集或子 集中 •列名重命名 •缺失数据处理 •数据类型转换 •数据排序 •异常值处理 •E-R图 •描述数据 •组织数据 •对数据进行操作 •描述数据库类型和属性 •将数据转换成图或表，以更直观的方式展现和呈现数据 E-R图（实体关系图） ER图是一种描述现实世界的概念模型的方法，用来表示实体，属性和联系 Classified 数据可视化 表格：由行和列组成，用于比较变量。表格以结构化方式展示大量信息。饼图和堆积条形图：这些图形分成多个部分来表示一个整体的不同部分。它们提供了一种简单的方法来组织数据并比较组件的大小。线形图和面积图：这些视觉显示通过绘制一段时间内的一系列数据点，来展示一个或多个数量的变化。线形图利用线条展示这些变化，而面积图用线段将数据点连接起来，然后将变量堆叠起来，并用颜色区分不同的变量。直方图：该图形使用条形图绘制数据分布（条形之间没有间隔），表示属于特定范围的数据数量。这种视觉表示使终端用户容易识别给定数据集内的异常值。散点图：这些视觉表示对于揭示两个变量的关系十分有用，通常用于回归数据分析。但是，有时可能会与气泡图混淆，气泡图用于通过x轴、y轴和气泡大小来呈现三个变量。热图：这些图形显示有助于按位置呈现行为数据。位置可能是地图上的地点，甚至是网页。树形图：以一组嵌套形状（通常是矩形）展示层级数据。树形图非常适合根据面积大小比较类别比例。 Classified Classified Classified 什么是数据治理 数据治理是一项战略计划，用于优化企业处理数据的方式。它旨在对数据资产进行规划、监控、执行、管理；组织和改进公司用于定义、收集、存储、保护、管理和货币化业务数据的政策和程序，并有目的性的实践活动；良好的数据治理不仅旨在保护数据，而且旨在寻找为企业创造数据价值的新方法。 Classified 什么是数据治理 战略规划组织和角色理念植入政策和标准项目和服务技术和支持成本和资源 Classified Classified 全流程监管的数据治理体系 •关键数据资产有清晰的业务管理责任 •IT建设有稳定的原则和依据 •作业人员有规范的流程和指导 •当面临争议时，有裁决机构和升级处理机制； •治理过程所需的人才、组织、预算有充足的保障 数据采集 0101010101 0101010101 0101010101 0101010101 数据管理 0101010101 0101010101 0101010101 0101010101 0101010101 0101010101 0101010101 0101010101 数据处理数据应用 组织制度 标准梳理 全流程监管的数据治理体系 落地策略 数据治理体系 Classified 数据治理的核心工作 在企业的数据建设进程中，保障企业的数据资产得到正确有效地管理。 Classified 什么是数据管控 数据治理和数据管控缺一不可，治理在前、管控在后。数据治理针对的是存量数据，是个由乱到治、建立规范的过程；数据管控针对的增量数据，是个有章可循，行不逾矩的约束。数据管控专注在纵向管控深度，上层定标准，基层去执行 Classified 为什么要做数据治理 症状根因 有垃圾数据政策不清晰关键数据缺失管理力度缺失数据不同步体系和规模庞大，梳理困难数据无法追溯培训不到位数据异常主人翁意识不够业务和财务口径不一致标准化缺失前端数据和后端数据不一致 Classified Classified 为什么要做数据治理 •提升数据质量 •为共享数据建立清晰的决策规则 和决策流程 •提升数据资产的价值 •提供解决数据问题的机制 •促进IT和非IT人员共同参与决策 •促进部门和业务单元之间的协作和相互依赖 •为共享数据建立共同责任制 保证数据质量 保证数据的可用性 保证数据安全 为什么要做数据治理 当前可能的情况： 可能采取的模式 •问题长期积累 •业务部门主导 •能容忍 •IT部门主导 •重要但不紧急 •企业数据管理部门主导 •IT在管理和做补救 Classified 数据质量维度 •完备性：是否存在所有必要的数据•有效性：数据指与定义的值域一致•准确性：数据正确表示“真实”实体的程度•一致性：确保数据值在数据集内和数据集之 间表达的相符程度 •完整性：即连贯性，包括与完备性、准确性、 一致性相关的想法 •及时性：数据产生到可用的时间延迟程度•唯一性：数据集内的任何实体不会重复出现 Classified Classified 数据治理的内容 架构管理数据开发操作管理 安全管理主数据管 理 数据仓库 管理 内容管理 元数据管 理 质量管理 数据模型 价值链分 析 数据架构建立 数据分析获取标准 数据建模恢复分级 数据库设调优管理计 保留授权 实施 清除审计 外部规范内部规范客户数据产品数据维度管理 架构实施 培训和支持 监控和调 优 获取架构标准 存储整理规范 备份和恢控制分析复 交付度量 整理 改进 检索 保留 清除 数据类型 主数 据 关于业务实体的数据，描述组织内的“物”，如供应商、客户、产品等。通过全局视角对企业主要的“人”和“物”有个全局把控，为其建立现实和数据领域的唯一标识。 交易数据 即过程数据，描述组织业务运营过程中的内外部时事件或交易记录的数据。如：销售订单，通话记录，供应商名单等数据。交易数据是BI分析的基础 参考数据 用于将其他数据进行分类或者标记整理的数据，外部对标数据 元数 据 即： 描述数据的数据，帮助理解、获取、使用数据，分为技术元数据、业务元数据 等： 统计数据 即对企业业务活动进行统计分析的数值型数据，也就是指标，如年度销售额 Classified 主数据管理制度 明确相关的组织职责、流程规范、数据标准 •主数据管理办法•各类主数据属性模板•主数据流程清单•绩效考核 Classified 主数据标准的梳理 编码：建立适用全企业的编码规则，全局统一管理、辨别和使用遵循全局性、唯一性、适度性、灵活性、扩展性等编码原则满足编码共享、自动生成、编码扩展等使用要求，分析现有编码问题，提出改进意见，最终确认主数据编码规则 Classified Classified 主数据标准的梳理 分类： 建立统一、规范、科学的分类，提升管理效率，降低因分类不准确造成的错误 1.调研、收集相关分类标准 2.差异及对标分析 3.确定信息分类 4.确定结构及规则 主数据类型 物料主数据设备主数据财务主数据供应商 客户 原料，辅料，半成品，服务类型，地点，资产，费用科目，分录 类型，产品，价值区域，规模，价值 主数据标准的梳理 数据三大属性：业务属性、技术属性和管理属性属性标准的梳理是对数据的每个属性项分别定义相关标准规范，从而可以约束各系统中的属性差异。属性标准可以参照国家、行业标准，内部的业务制度从业务标准、技术标准、管理标准等不同角度进行标准化。 Classified Classified 主数据标准的梳理 分 和 题 主•明确业务主题概念、本质和内涵（如，什么是客户） 类 定•明确具体的数据来源、分类体系、使用规则业义务 定 数义 标 据管 准 标•需要遵守的规则、标准属性、负责部门、业务定义理 属 准和描述（所属主题、名称、引用的数据项名称、信 性 息 心 核参考标准、数据类型、长度和其他业务定义） 内技 属 容术 准 标•明确代码取值和业务含义性 代（编号、编码规则、格式、名称、数值、描述等）码 谁是主？谁来用?干什么？什么时候干？准确性，及时性，全面性 Classified 主数据标准的梳理 数据标准的类型 数据标准的依据 国际标准（ISO,ITU…) 国家标准 行业标准（YD，YD/T，JT．．．）同行标准（GDW／Ｑ．．．） 企业自定标准 编码类代码类标志类文本类金额类 比例类数值类日期类时间类 日期时间类 数据标准来源于业务，服务于业务。 一张名片的数据 公司 ｘｘｘ Companyｘｘｘ 部门职位 ｘｘｘｘｘｘ DepartmentｘｘｘTitleｘｘｘ 姓名 ｘｘｘ Nameｘｘｘ 地址 ｘｘｘ Addressｘｘｘ 电话１电话２ ｘｘｘｘｘｘ PSTNｘｘｘCellphoneｘｘｘ 邮件 ｘｘｘ Emailｘｘｘ 传真 ｘｘｘ Faxｘｘｘ 邮编 ｘｘｘ Zipcodeｘｘｘ Classified Classified 数据标准体系的建立 础 基•客户数据标准 类 数•产品数据标准据 准 数标•销售渠道数据标准据 管 标准体 系理•分析指标定义框架 类 •交易数据标准 •区域数据标准 •地址数据标准 •指标库 •信用数据标准 •资产数据标准 •联络数据标准 数•分析指标定义体系据 准 标•分析指标维度体系 •评价标准（环比、同比、KPI） •指标库和分析维度关联关系 Classified 数据标准生命周期管理 业•标准主题 属 务•标准大类 性 •标准中类 数 据技•数据类型 标术 性 准属•数据长度 •标准小类 •标准编码 •标准名称 •数据格式 •编码规则 •业务定义 •业务规则 •相关标准 •取值范围 •数据类型 •标准来源 •标准依据 •数据约束 •数据精度 •使用系统 理 管•标准定义人 性 属•标准管理人 •标准使用人 •标准版本 •应用部门 •使用系统 •权限范围 •使用期限 数据标准的制定 循序渐进 •确定可通过数据实现的具体业务目标，并定义实现这些目标所需的特定数据元素 不断完善 •标准的制定和维护、标准的治理、完整性和可操作性在标准落地应用过程中逐步完善 战略规划 •清晰认定企业战略，标准的制定需要结合企业发展的战略，要有前瞻性 实践平衡 •数据标准需要平衡收益和成本，需要考量投资回报 外部借鉴 •数据标准需要参考国际和行业标准，也要兼顾企业内部实际需求 内部适配 •内部外部数据的