从数据到价值的转化之路--WeData数据资产管理
从数据到价值的转化之路 ——WeData数据资产管理 主讲人：戚芳芳 目录 03 部分客户案例 02 基于WeData实现资产服务化 01 基于WeData 三步实现数据资产化 看全球：各国发布各种战略措施，积极推动大数据发展，大数据发展已到达从概念推广到全面落地的重要转折期 在中国：大数据已升级为国家战略，挖掘数据价值，促进数据共享势在必行！ 日本 2012年《面向2020年的ICT综合战略》 英国 2013年《英国数据能力发展战略规划》 澳大利亚 2011年《国家数字经济战略报告》 2013年《数据驱动经济战略》 欧盟 2011年《开放数据：创新、增长和透明治理的引擎》 《数据驱动经济战略》 中国 2016年3月，第十三个五年规划纲要，明确提出实施大数据战略 2017年12月8日，习近平：实施国家大数据战略 ，加快建设数字中国 2020年首次将“数据”与土地、劳动力、资本、技术等传统要素并列为要素之一写入文件，强调要加快培育数据要素市场 2024二十届三中全会《决定》提出加快构建促进数字经济发展体制机制，建设和运营国家数据基础设施，促进数据共享。 美国 2012年《大数据研究和发展倡议》 2016年《联邦大数据研究与开发战略计划》 数据增长趋势：根据IDC等权威机构测算，全球数据量年均增速30%，将从 2018年的33ZB增至2025年的175ZB；预计到2025年中国数据量将增至 48.6ZB，占全球的27.8％，将成为数据量最大的区域。 挑战和机遇：数据量以不可阻挡的趋势在爆发，如何整合好数据、管好数据 、用好数据，势在必行！ 数智化 数字化 信息化 数字化进程推进了业务数据化，积累了海量数据，大数据战略升级势在必行 大数据全球战略布局全面升级 大数据全球战略布局全面升级 海量的数据在企业应用中遇到不少挑战，难以发挥价值、赋能业务 01数据质量不高 是否可信：重要数据缺失、数据异常、数据不一致、数据重复或错误 口径不统一：同一个指标，不同系统查看的结果不同，以哪个为准？数据含义不清：数据什么含义？什么场景下可使用？ 02数据安全如何保障 是否合规：国家行业数据安全合规要求日益复杂，如何有效应对？ 高敏感数据：有哪些类型的敏感数据？传输/存储是否安全？是否会出现数据泄露？ 谁在用：谁在使用哪些数据？是否合规？是否有访问日志？ 03数据共享壁垒高 缺少统一共享平台、共享机制，数据消费方不知有哪些数据？去哪查数？数 据提供方不知把有价值的数据在哪共享？ 数据整合复杂，技术系统五花八门，系统间的数据格式和接口不兼容 CRM系统ERP系统合同系统 HR系统OA系统财务系统 HIS系统MES系统SCM系统EHR系统WMS系统。。。 业务系统 数据资产化、资产服务化是企业数据持续释放价值、赋能业务的必经之路 数据资产化 通过制定规范、标准和监管措施，对数据进行汇聚加工、治理、盘点编目，持续提升数据质量、保障安全，实现数据看得见、看得懂、管得了 资产服务化 将资产化后的数据通过API、数据包等服务提供，打通数据应用最后一公里，快速实现数据共享、增值、变现。 服务业务化 服务 资产服务化 数据从哪里来、怎么用、谁在用 业务 WeData 数据资产管理 资产 业务数据化 数据 数据资产化 数据开发、治理、质量、监控、安全 WeData数据开发治理平台---为数据到价值转化提供新思路 WeData是腾讯云推出的一站式数据开发治理平台，包含数据集成、开发、测试、运维的全链路DataOps数据开发能力，以及数据建模、数据质量、 数据安全、数据资产等一系列数据治理和数据运营能力，帮助企业在数据构建和应用的过程中实现降本增效，数据价值最大化。 产品架构 已持续为数百家企业客户基于大数据进行数字化转型 01 基于WeData三步实现数据资产化 数据看得见、看得懂、管得了 基于WeData三步实现数据资产化 010203 数据汇聚是前提 统一汇聚，打通数据孤岛 数据治理是基石 数据可信、规范又安全 盘点编目促流通 数据看得见、看得懂、管得了 基于WeData三步实现数据资产化 01数据汇聚是前提02数据治理是基石03盘点编目促流通 CRM系统ERP系统 多源异构数据经过同步、清洗、转换等处理汇聚至数据仓库 异构数据同步 数据转化 支持过滤、连接、加密、联合、聚合等操作，完整支持ETL/ELT能力体系 敏捷DataOps 支持关系型数据库、大数据存储、NoSQL等异构数据源之间传输&转换 一站式敏捷大数据开发、调试、持续集成和发布能力，高效完成数据从ODS到ADS等层的加工转换 HR系统合同系统 OA系统财务系统 MES系统SCM系统 ADS （应用数据层） ODS （原始数据层） DWD（明细数据层） DWS （汇总数据层） DIM（维度层） EHR系统HIS系统 WMS系统。。。 大数据引擎底座：TBDS/EMR/DLC/TCHouse 业务系统 基于WeData三步实现数据资产化 01数据汇聚是前提02数据治理是基石03盘点编目促流通 数据治理 以数据质量提升和数据安全共享为目标，结合统一标准和资产评价运营机制，保障数据质量和安全。 质量安全统一资产治理治理标准评价 基于WeData三步实现数据资产化 01数据汇聚是前提02数据治理是基石03盘点编目促流通 质量治理 全链路质量监控，有效阻断脏数据向下游蔓延，保障数据质量 完整性准确性一致性及时性 业务数据质量 字段级+表级规则 安全业务数据质 多种规则校验器 56+种规则模块 治理量 统一元数据质量 数据加工汇聚 DIM（维度层） ADS （应用数据层） DWS （汇总数据层） DWD （明细数据层） ODS （原始数据层） 业务数据 标准 自定义质量规则 表/字段描述 质量任务监控 目录分类 质量报告 综合质量评分维度质量评分 表质量评分明细 告警排行/趋势 重要等级 。。。 任务执行情况监控任务告警规则配置 多渠道告警通知 邮件 短信 微信 Http 电话 企微 飞书 标签 责任人 资产评价 静态+动态脱敏 脱敏规则自定义 敏感数据分布统计 多种脱敏策略 HASH 遮盖 变换 替换 加密 访问日志操作日志权限有效期风险审计 基于WeData三步实现数据资产化 01数据汇聚是前提02数据治理是基石03盘点编目促流通 质量治理 数据安全为数据流通保驾护航，用的安心，管的放心全链路覆盖企业级安全保障加密存储/传输开发生产隔离项目空间隔离 分类分级-识别敏感数据数据脱敏安全管控安全审计 行业分类分级模版数据访问控制自定义分类分级规则研发运维安全支持字段+数据内容应用数据安全。。。数据共享安全 安全治理统一标准资产评价 基于WeData三步实现数据资产化 01数据汇聚是前提02数据治理是基石03盘点编目促流通 质量统一数据模型和指标标准为数据治理提供规范依据 指标数据标准 统一指标口径，消除二义性，一处定义，处处使用 治理 数据模型标准 从源头规范数据：数据规范化建模设计、数据标准管理与落标检测 安全治理 统一标准 资产评价 资产健康分 规范分 质量分 成本分 应用分 安全分 表命名规范 SLA达标 存储成本 热度值 责任人合规 字段落标 DDL稳定性 计算成本 共享热度 表安全等级 注释规范 质量监控 OLAP成本 下游依赖 敏感识别 DQC监控覆 盖 应用贡献度 脱敏加密授权合理 基于WeData三步实现数据资产化 01数据汇聚是前提02数据治理是基石03盘点编目促流通 质量治理安全治理统一标准 建立资产评价体系和运营机制，推动数据治理常态化、流程化、规范化 执行治理策略定义治理维度 不同人员可根据发现的问题进行可扩展的方式，在平台中定义了规范 不同维度数据治理手段。执行定义治理健康分的组成维度，如质量安全质量 分，安全分、规范分、成本分，应用分等。应用成本 驱动组织和人员组织采集采集治理维度数据 数据管理者可以将问题晾晒，推通过元数据采集将实际的业务数送报告等多种方式驱动组织和人据，从定义的维度进行数据采集员进行数据治理。问题评估汇总。 发现问题资产评分 根据不同维度的数据，发现不同通过平台上定义的治理维度综合业务或不同数据的健康情况，从分析当前的数据资产的评分而找到数据问题。 资产评价 基于WeData三步实现数据资产化 01数据汇聚是前提02数据治理是基石03盘点编目促流通 资产看得见、看得懂、会使用、管得了 1统一元数据管理 看清数据大盘分布、来源好管理 4全域资产检索定位 高效资产检索让数据看得见 元模型 元数据采集 元数据大盘 资产目录 多条件检索 资产分布 2资产盘点编目 甄别有价值的数据，让数据看得懂 3资产360视图 产出/变更 自助取数 权限&审计 全维度信息，看得懂、更会用 血缘影响 热度/成本 质量/评分 资产编目 价值甄别 业务属性维护 02 基于WeData实现资产服务化 打通数据资产应用最后一公里 部门间共享 部门内共享 数据共享 资产服务化-打通企业数据资产应用最后一公里，赋能业务场景化应用 资产服务化 服务业务化 服务可视化API管理，包含创建、测试、发布、下线、授权、监 API控全流程生命周期管理 业务场景赋能 精准营销 智能客服 网点运营 业务分析 客户洞察 产品洞察 市场预测 。。。 管理场景赋能 智能风控 财务分析 行员管理 智能运营 智能运维 。。。 自助WeDataNotebook探索提供便捷的可视化即时数据探索、 取数查看、下载能力 决策场景赋能 管理驾驶舱指标应用报表应用 市场化变现 数据交易所 数据服务平台 03部分客户案例 某药企客户基于WeData实现数据中台建设，业务动态实时监控 客户痛点 方案架构 应用场景 数据孤岛严重，业务数据库类型众多 有效打破内部数据孤岛，汇聚全域数据数据质量大幅提升，强力支持SAAS应用 门店实时销售情况会员实时动态 库存有效期预警分销占比商业进销存等 数据质量低、没有数据标准大数据组件运维复杂，缺乏集中统一的有效运 维中心 业务数据 会员CRM数据网店后台数据实体店销售数据药品分销系统数据眼视光系统数据MES系统数据WMS系统数据质检应用系统数据云七通系统数据金蝶K3系统数据 统一开发800+个数据任务 统一对接MySQL/Oracle/SQLSERVER/GP/文件等多种数据源 统一开发Hive/Shell/Python等多种任务 统一开发API接口数据抽取任务 每日检测10000个质量实例 数据标准平台建标700个标准项 数据质量检测模块制定400+个检测规则 每天运行10000数据质量检测实例，检验 30000列数据的质量是否符合标准 统一管控900张数据表 数据资产平台展示完整字段级数据血缘 统一数据权限的申请、授权、审批等管控 精确到人到表的列权限与动态脱敏控制 某零售客户基于WeData实现业务增长分析，商品个性化推荐 基于腾讯云WeData构建大数据引擎中枢 业务价值 打通数据孤岛：各业务数据通过大数据进行汇聚，加工，清洗，形成企业级据中台，解决了数据孤岛。 提升数据质量：通过数据开发流水线和数据质量保障体系，大大提高了企业数据问题的处理效率，提高了数据质量。 统一数据语言：通过数据资产盘点，丰富业务信息，完善管理元数据，提供全局数据门户，帮助业务人员可以获得准确的数据，企业内部实现统一数据语言 赋能业务增长：通过数据资产服务，赋能业务场景，实现实时增长分析、商品个性化推荐等。 THANKS
