德邦快递数据治理实战之路

德邦数据治理之路分享 主讲人：慕德兴德邦大数据研发中心负责人 成立汽运专线 4个人8平米 德邦快递简介 大力发展长三角 11月11日 南航老干1998 卡车航班2004 登陆资本市场更名德邦快递 直营模式覆盖全国 空运速度汽运价格 空运合大票 2018 零担龙头2010 快递上线2013 总部东迁2009 涉足汽运2001 崔氏货运1996 经过20余年发展，德邦成为覆盖快递、快运、整车、仓储与供应链、跨境等多元业务的综合性物流供应商 数字化基础软件自主创新分享周 德邦快递简介 快递大件快递零担（快运）整车运输 产标准快递 品 0 绍 介 360特惠 特准快件 大件快递 精准汽运 精准卡航 精准空运 公斤段 整车运输 60 30 3 1000 350亿+ 1.2万台+ 1.3万条+ 200万平+ 15万+ 收入车辆线路分拨场地人员 数字化基础软件自主创新分享周 2 大数据应用痛点 3 解决方案及效果分析 1 德邦数据治理之路 CONTENTS 数字化基础软件自主创新分享周 01 德邦数据治理之路 数字化基础软件自主创新分享周 主数据治理项目 二期 建立元数据管理平台 进行元数据管理 德邦数据治理之路 2013 2016 2021 数据治理建议建立 统一指标管理树 主数据治理项目 一期 数据治理体系建设 绩效指标数治理 2016 2021 2022建立数据管理流程与网易数帆平台协同推动治理落地 数字化基础软件自主创新分享周 02 数据应用痛点 数字化基础软件自主创新分享周 数据应用痛点——需求阶段 业务部门不清楚系统中已经存在哪些指标，也不清楚去哪里找数，只能根据自身业务需要提出指标需求。 问题一：不知去哪找数 案例：业务通过智能服务台反馈：系统部分功能上线后仅配置给专业部门，一线部门不知道存在可以利用的系统数据，只能申请“临时数据工作流” 数字化基础软件自主创新分享周 数据应用痛点——数据打架 各部门之间数据打架，互相之间口径不一致，导致管理低效，高层无法准确决策。 问题二：跨部门指标不透明 案例：空运指标“时效件收入”包含部分“国际收入”,但不知道线上已存在国际收入，又设计同样业务含义的指标，造成口径冲突。 职能部门1从运单中筛选订单来源为跨境业务系统、邮政小包系统作为基础明细计算。 职能部门2依据开单部门和到达网点进行判断是否属于跨境收入 数字化基础软件自主创新分享周 数据应用痛点——设计阶段 指标开发人员不清楚系统中现有哪些应用或数仓模型、不清楚模型的计算口径、不敢用，只能竖井式开发， 导致效率不高且造成数据口径冲突。 数据需求 指标设计 设计结果 CRM系统报表管理责任划分明细报表： 1、筛选当日上报类型为“投诉”且业务模式为“快递”的工单； 2、剔除”投诉内容“中含“反计”和“反记”字样的工单剔除”反 计类型“中含“反计”字样的工单剔除”处理语言“中含“反计”和“反记”字样的工单； 3、剔除”投诉内容“中含“【来源：国家运管局投诉】”、“【来源：国家邮政局平台投 诉】”以及【来源：线下国家邮政局平台投诉】字样的工单； 4、...... 有现成的么？表结构啥样？ 模型库 表信息 还是重新做一个吧 数字化基础软件自主创新分享周 数据应用痛点——开发及上线后 源系统数据质量不高导致数据分析错误，增加补丁程序，反复刷数及数据验证，用数效率低。 源系统数据质量不高补丁兜底 问题背景：同一个车牌号，在资产管理系统和业务系统都存在，既是自有车，也是外请车，导致成本取数重复。数据错误原因： ①流程问题：公司车购买初期录入外请车，后期转录公司车，未在系统中删除历史数据。 补丁方式 同一车牌有两种车辆性质 登记在EAM车辆表-自有车 运输任务表被标记外请-外请车/自有车 成本取数重复 单独计算自有车分摊成本 单独计算外请车分摊成本 排查问题根因按类型单独统计，存在数据重合部分 数字化基础软件自主创新分享周 数据应用痛点——开发及上线后 源系统数据变更但未充分进行影响分析，导致指标数据错误，通过刷数进行修复，用数效率低。 单号DPK331****单号物理删除数据导致营业部收入为负 事件经过： DPK331013883716客 户下订单为子母件，包含3.9万元代收 营业部订单激活错误，激活成单件后无法修改 订单运单中台研发部将错误数据进行物理删除 营业部用此单号重新开单时无代收货款 营业部当日收入出现负数 下订单营业部操作失误数据删除重新开单收入数据异常 原因分析 数据物理删除前未对数据的有效状态进行变更，并且BI未接收到数据删除通知，导致被删除数据在BI数据库中仍为有效。 解决方案 ①BI重新同步明细数据，并对收入数据进行数据回刷 ②订单运单中台研发部制定逻辑删除规则，避免物理删除情况 数字化基础软件自主创新分享周 流程未固化 外场、车队提成计算依赖人工，存在人工调整和审计风险 业务系统模型设计不遵循概念逻辑等规范，打补丁多 数据流程不清晰，指导不明确 数据应用问题总结 2019年1月撤销地级莱芜市，辖区划归济南市。但公司的行政区域一直没有改，影响一线走货 该找谁维护？ 各个管理部门多，数据口径多样化 数据人工 处理风险高 源数据不准确 数据无责任人 数据口径不一致 数据不共享 数据开发：多个部门同时监控同一个数据，缺乏数据共享，并易导致数据口径不一致 现状数据问题 数字化基础软件自主创新分享周 03 解决方案及效果分析 数字化基础软件自主创新分享周 华为学习 公层层面的管理组织：业务负责制的数据管理责任体系，是华为数据治理体系多年实践经验的结晶，是确保体系发挥作用的基石 •华为虚实结合的数据组织设置，是确保数据工作充分卷入业务，同时能够在应用系统中有效落地的关键 •数据管理部：支撑公司实施数据治理 •代表公司制定数据治理相关政策、流程、方案和支撑系统，制定公司数据管理的战略规 划和年度计划并监控落实； •建立并维护企业信息架构，监控数据直连个，披露重大数据问题，建立专业任职资格管理体系，提升公司数据管理能力，推动企 业数据文化建立和传播。 • 各领域/BG数据管理部：落实公司制定的数据治理 目标 • • 实线向GPO（各业务领域全球流程Owner， 通常是业务领域的最高主管）汇报，承接落实GPO的数据管理责任； 虚线向公司数据管理部汇报，遵从公司统一 的数据治理政策、流程和规则要求。 数字化基础软件自主创新分享周 华为按分层分级原则任命数据Owner，在公司层面设置公司数据Owner，在各业务领域设置领域数据Owner，这样既能确保公司数据工作统筹规划，也能同时兼顾各 业务领域灵活多变的特征。 公司数据Owner是公司数据战略的制定者、数据文化的营造者、数据资产的所有者和数据争议的裁决者，拥有公司数据日 常管理的最高决策权 各级流程Owner就是该流程域的数据Owner，在公司数据Owner的统筹下负责所管理流程域的数据管理体系的建设和优化。各业务部门是执行规则，保证数据质量，进而推动规则优化的关键环节。通过主管机构正式任命各数据主题域和业务对象的数据Owner和 数据管家 组织保障 数据治理的开展需要数据治理变革推进组织的推动：1)数据来源于业务，而IT侧只能提供技术支持;2)IT与业务需要高效协同，缺乏协同机制；3)数据管理是变革型项目，需自上而下推进数治理开展。 虚拟组织 实体组织 决策层 管理推动、监督评估 配合协作 对齐数据管理需求 配合协作 数据治理部 IPMT或TMT 裁决推动、协调 科技驱动 数据管理决策主体（CTO/业务副总） 配合协作 裁决 公司级数据管理部（没有） 战略绩 效部 流程管 理部 推动、协调 管理层 执行层 技术支撑 赋能 产品域数据治理组 （IT内已发文） 业务系统责任部门 数据管控平台运维部门 （包干产品线） 管理推动 业务域数据管理组 （没有） 技术支撑 业务责任部门 （数据OWNER） 纵向赋能管理 横向协 业务侧 同 IT侧 总结：数据治理变革推进组织是数据管理组织成功开展并保证治理工作持续运营的重中之重，是治理工作开展的前提保障。 企业级资产目录创建、变更、发布及交付，厘清数据资产，实现分层管理 数据源认证准确(数据字典、数据流向及数据责任)，保证IT系统集成高效 信息架构、数据质量、数据分析的相关方案的设计和验证 业务驱动的分析需求由数据分析师识别，并提供数据分析服务全流程 基于数据服务之上，进行自助分析报表的开发 入湖需求分析及管理、检查数据入湖条件、执行入湖标准、实施数据入 湖、元数据注册 识别数据质量问题、设计问题解决方案和观测、执行测评和确认问题解决，形成数据质量问题解决闭环 制定数据质量水平衡量标准，对齐业务目标，识别数据质量问题与风险， 指导数据质量度量工作开展 基础数据创建、变更、发布，规范和管理基础数据的维护过程及相关影响分析，确保数据标准落地 流程梳理 数据管 理 管理数 据质量 开发企业级资产目录流程 数据源认证 业务数据后台例外提取流程 非正常后台数据修改申请流程 数据解决方案开发与验证流程 管理数据分析 管理数据分析流程（自助分析场景） 公司数据湖建设 数据质量改进 数据质量度量 基础数据维护流程_试行 数据服务管理 管理数据资产 概念数据模型管理流程 数据标准管理流程 管理数据分析 数据服务识别与定义、设计及交付运营的管理，提高数据服务重用度、减 少重复建设 在设计阶段进行概念模型设计及评审，指导开发，提高数据模型质量 业务数据标准创建、变更、审批及发布流程，提升数据标准质量及重用度 流程简单说明 对业务数据后台从申请到执行，使数据资产得到合理保护和共享 对非正常后台修改业务数据申请和审批环节进行规范，保证数据安全 数字化基础软件自主创新分享周 线上化管理 数据管理全流程：通过网易数帆，可以实现从需求到上线的全流程进行管理，指标管理、模型设计、元数据 查询、血缘分析及数据质量监控，提升整体研发效率，并结合数据质量监控，实现全链路数据监控并实时播 g¡3№ 报预警，全方位保障数据服务。 需求 设计 开发 测试 上线 指标管理：德邦指标库，统一管理、统一定义、统一口径。 模型设计：德邦数仓，规范离线开发：提交上线的化、统一化模型建设，数据复CI/CD流程控制能力，用，提升研发效率。包括代码扫描、形态探 数据质量：提供数据测试的能力，数据比对、数据形态探查。 数据质量提供全链路结果可量化的质量监控，质量大屏、质量监控。 数据地图：德邦数据导航，数据查、数据比对、节点测 数据地图提供数据血缘 血缘、数据资产检索、预览，快试检测、产出影响检 查询快速进行问题定 速定位自己需要的数据。测、质量监控规则配置 位。 数字化基础软件自主创新分享周 检测等。 解决方案及效果——指标系统 通过指标中心结合指标管理制度实现指标增、删、改、查线上化操作，并实现指标与模型的绑定关系，打通 指标共享壁垒，提高指标复用度。 指标基本信息 指标名称/指标类型/指标域/责任部门等 指标口径定义 技术口径/业务口径等 指标血缘查询 计算指标依赖基础指标等，指标树的整理。 内容支持自定义 制度保障体系化管理 德邦快递指标管理制度 数字化基础软件自主创新分享周 解决方案及效果——指标系统 在指标中心结合指标管理制度的管理需求，自定义设计指标录入模板，由产品经理在需求阶段进行指标信息录入，提供给ETL开发人员进行指标开发，指标上线后，可通过数据地图进行指标信息的查看，同时在页面前端指标数据展示时调用指标定义查询接口进行指标口径的查询。 系统使用情况 数字化基础软件自主创新分享周 解决方案及效果——模型中心 通过模型中心查看各层模型建设情况，模型设计时进行指标关系维护，提高