1-2 数仓规范化—菜鸟数据模型管理实践 - 王智龙

菜鸟数据模型管理实践总结

一、菜鸟末端业务介绍

• 业务简介：菜鸟驿站为用户提供包裹代收、代寄等服务，致力于提供多元化的最后一公里服务。
• 业务图谱：涵盖网络拓点、网络运营、网络管理、硬件设备、代收寄件、商业化、消费者服务等。

二、数据建模平台建设

• 数据建模平台规划：包括数仓分层、业务分类、数据域、业务过程、储存策略、表生命周期、指标时间周期、维度、词根管理等。
• 核心功能：
  • 规范定义：数仓分层、业务分类、数据域、业务过程、存储策略等。
  • 逆向建模：通过Fast Modeling Language (FML) 进行逆向建模。
  • 多表克隆：支持多表克隆和批量逆向建模。
  • 代码模式：支持SQL代码模式，包括批量逆向和FML批量调整。
  • Excel操作：支持Excel批量导入和交互。

三、模型管理整体规划

• 主要痛点：
  • 数据建设过度依赖需求驱动，缺乏整体规划。
  • 核心模型复用性不足，导致需要频繁新建模型。
  • 核心模型稳定性不足，依赖关系复杂。
  • 数据成本逐年增长。
  • 表和字段命名规范执行不足。
• 目标：
  • 稳定性：提高数据产出时效和质量稳定性。
  • 扩展性：提升模型变化的兼容性，降低业务变动对模型的影响。
  • 时效型：提升数据模型产出时效和需求响应速度。
  • 易用性：降低下游使用门槛，提供灵活性。
  • 成本：避免重复建设，节约计算和存储成本。

四、模型管理整体方案

• 组织保障：建立模型管理责任制度，制定数据模型规范。
• 产品工具：使用DataWorks智能数据建模平台，实现模型线上化管理。
• 实施流程：
  • 正向建模：通过DataWorks完成模型设计、评审和发布。
  • 逆向建模：通过逆向导入方式实现存量模型的线上化管理。

五、建设成果

• 平台建设：与DataWorks团队合作，实现了从简单录入系统到集成多种功能的平台。
• 使用情况：末端开发效率提升30%，团队全员使用。
• 核心价值：
  • 规范沉淀：实现数据体系的规范化建设。
  • 核心数据资产：沉淀企业级核心数据资产。
  • 双管齐下：面向业务和开发视角进行规范建模。
  • 提降成本：降低储存和计算成本。
  • 建模效率：提升建模效率及研发效率。

六、展望

• 模型管理体系：构建模型健康评估体系，促进模型升级迭代，最终实现模型管理的目的。
• 数据质量：关注数据质量、数据波动、数据异常变更等，提升数据管理的全面性和有效性。