翼支付数据治理实践

翼支付数据治理实践 ——数据治理顶层设计与实践思考 演讲人：中国电信翼支付-王平 数字化转型领军者营收符合增长率是其他企业的5.5倍 在过去三年里，数字化转型领军企业营业收入的复合增长率高达14.3%;同期,其他企业的营业收入复合增长率仅为2.6%.在过去一年中,领军者的销售利润率也远远高于其他企业,达到12.7%；同期其他企业的销售利润率仅为5.2% 数字转型领军者定义为:在持续深耕传统业务的同时,果断向新业务拓展谋求转型.在过去三年中新业务的营业收入在总营业收入中占比已超过50% 数据资产化 未能有效积累企业 数据资产 大量数据闲置 数据质量底下 缺乏统一资产管理 数据采集&接入 企业缺乏规范安全的数据采集与接入流程 数据安全&隐私保护 数据安全风险高 个人隐私信息易泄露 数据治理难 企业缺乏统一的数据治理规范和持续化数据治理流程 数据治理缺乏规范 数据治理前清后乱 治理规范难以维系 未能识别优先场景 核心数据识别数据管理组织 数据孤岛&重复建设 企业各业务系统之间数据割裂严重，未形成数据统一口径 数据割裂 数据重复建设 指标口径不一 数据未充分发挥价值 核心数据识别困难 数据一致性较差 企业缺乏统一的数据管理部门，业务部门数据应用各自为政，流程紊乱 “清洁数据成就卓越运营，智慧数据驱动有效增长。”——《华为数据治理之道》 资料来源：贝恩咨询、艾瑞咨询 数据治理是企业的1号位工程。 成本和效益 降本增效： ·公司整体离线数据计算完成时间提前XX小时； ·预计节约新增服务器投入约XX万元（约XX台服务器）； 安全&合规： 安全合规经营 ·数据存储、传输、使用管控，数据泄露风险显著下降。 ·不敢-制定规范，培训宣贯，确立红线 ·不能-系统约束 ·不想-事后稽核、通报，意识提升 效率 资源倾斜，紧密协同： ·主动挖坑，新世界新玩法 ·资源倾斜（数据\平台开发资源、计算资源） 质量 SLA保障及提升： ·核心任务识别与优先级提升 ·数据质量稽核 ·7*24小时运维保障 组织协同模式 平台建设 数据应用及链路 治理 数据规范与 数据质量 数据安全 治理委员会 数据开发 数据易用性 数仓数据规范 数据存储 数据使用方 自助BI 应用数据质量 业务数据规范 数据传输 数据所有方 数据标准 计算&查询时效 主数据&元数据 数据使用 数据治理方 元数据 数据计算成本 指标管理规范 数据加密 数据资产 数据分类分级 个人信息脱敏 治理后 12345 治理前 组织协同模式 平台建设 数据应用及链路 治理 数据规范与 数据质量 数据安全 治理委员会 数据开发 数据易用性 数仓数据规范 数据存储 数据使用方 自助BI 应用数据质量 业务数据规范 数据传输 数据所有方 数据标准 计算&查询时效 主数据&元数据 数据使用 数据治理方 元数据 数据计算成本 指标管理规范 数据加密 数据资产 数据分类分级 个人信息脱敏 治理效益 尚不成熟，重点治理 相对成熟，初见成效 计算成本计算时效查询时效 计算成本降低 87.9% 计算成本降低 提前8.5小时 核心看板计算时效 提升4030% 业务线看板查询时效 自主研发高性能云原生大数据平台,构建多源异构数据模型，承载翼支付数据治理方法论，助力企业数字化建设 翼支付数据治理总体思路翼支付一站式数据治理解决方案 安全合规 翼支付 电信集团 合作央企 第三方合作商 隐私计算 数据应用 报表与可视化自助分析A/BTesting精准营销 数据架构与模型 主数据治理 元数据治理 数据安全治理 数据服务治理 数据治理 数据分层架构 主数据定义 模型设计规范 数据开发规范 主数据集成&服务 主数据应用&消费 数据服务 大数据平台 离线计算流式计算机器学习图计算 分布式存储 数据总线 数据融通 数据管理 元数据管理 全景画像 数据标准 数据产品先知·BI平台 先觉·AI平台 先枢·数据开发与治理平台 数据服务生命周期管理 数据传输管控 数据服务质量提升 数据分类分级 敏感数据发现 数据生命周期管理 数据地图数据血缘元数据采集 智慧运营 智能推荐 智能风控 智能客服 两个牵引： 标准牵引+应用牵引 三个组织： 数据治理委员会、技术架构委员会、治理实施项目组 四个步骤： 问题调研/需求提出、方案设计与评审、实施、验收 翼支付数据治理能力体系核心能力 数据治理：面向多源异构数据模型，沉淀出翼支付数据治理方法论及治理平台，提升数据质量及治理效率，显著降低数据治理成本。 大数据平台：基于海量异构多源产业数据，提供PB级数据存储与处理能力；流计算处理事件峰值百万级秒并发毫秒级响应；元数据支持千万级实体毫秒级响应；支持以支付、金融与电商等场景为核心的全域数据智能产品服务体系； 核心数据链路治理过程 业务核心任务提报 两个牵引：标准牵引和应用牵引 1）标准牵引，规范先行： 上游依赖识别与评估 如何提高数据复用率？->仓库跨层引用规范，指标管理规范 如何提高任务计算效率？->任务开发上线规范 任务优先级调整及治理实施 2）应用牵引，避免“大而全” 数据是有生命周期的，大部分数据链路会逐步淘汰 任务时效、质量监控 集中80%精力解决20%的核心业务诉求 任务优化前后运行时间对比 （min） 任务优化前后资源消耗对比 (VcoreSeconds) 1、计算引擎升级，Hive->Spark提升2倍以上； 2、开展任务资源消耗和计算时长监控，识别待优化任务；主要是数据倾斜类任务； 3、任务定制优化 集群文件治理，控制小文件数量，保障集群计算性能 集群日增文件趋势图 1、集群调优：SparkSQL参数调优，并行度调小；小文件数下降75%；（小文件控制在80M以上） 2、持续监控，针对特定任务自动合并小文件；Spark任务增长260%，集群小文件数量无明显增长。 数据标准 •指标市场 •维度市场 •指标加工 数据资产 •数据目录 •数据质量 •资产管理 全景画像 •标签管理 •标签加工 •标签服务 先知·BI平台 •报表中心 •多维分析 •数据探查 •智能诊断 先觉·AI平台 •智能标注 •可视化建模 •自助建模 •AutoML •模型服务 先启·外部数据管理平台 •API接入与服务 •服务治理 •变量管理 BOP·运维管理平台 •组件管理 •集群管理 •集群监控 先枢·数据开发/治理平台 •调度作业 •实时作业 •数据服务 •运维中心 •数据总线 （AIPlus） 智慧营销智能信贷智能推荐信贷风控支付风控... 数字运营 先鉴·智慧运营 •运营分析与诊断 •策略编排 •A/B实验 先算·智能决策 •策略管理 •决策服务 •开发中心 CDD·智能客服 •知识库管理 •技能设计 •机器人设计 数据管理 META·元数据平台 •数据采集 •元数据查询 •数据权限管理 生产业务DB·MySQL·Oracle·Ftp·Kafka... 大数据平台 标签链路架构治理升级方案治理效益 •标签计算架构升级：调整标签表的存储方式，同步将全量计算改为 增量计算 •核心任务优化：针对资源消耗过大任务，进行SparkSQL定制优化； •通过左侧方案，标签计算完成时效从11点提前至6点前 •数据同步时间由3小时缩短到30分钟 •突破标签450个上限 •劣势，不支持动态扩展列，需手动加列 方案二： 标签计算 （增量） Hive （多张表） HBASE 自研CK表引擎，支持表的 增量同步，然后进行合并 ClickHose 方案一： 标签计算 （全量） HBASE（一 张宽表） Hive 标签计算完成时间均值 11:06 7:48 5:50 治理前 标签计算架构升级标签任务持续优化 Hive-HBASE映射表支持列动态扩展 ClickHose 数据智能化应用 生产数据标准统一 数据治理常态化 A 数据治理是一个持续过程，需深入融合到企业日常的数据运作过程中，而不能仅靠一段时期的攻坚就草草收场。 B 与在线业务紧密协同，从源头统一数 据标准，管控数据变更 C 深入推进数据智能化应用，扩大数据 治理成效 道阻且长，行则将至 THANKYOU!