7-4 数据驱动业务发展——业务指标数据体系建设及集市治理实践

业务集市现状

• 现状：当前业务集市存在诸多问题，包括集群无序建设、模型分散导致的冗余计算任务、跨层依赖严重、业务数据共享度低、缺乏统一数据标准等。
• 问题：
  • 集群无序建设，导致不可知、不可取、不可用、不可控。
  • 模型分散，造成资源浪费。
  • 跨层依赖严重，业务数据共享度低，存在大量重复读取操作，消耗IO资源。
  • 各业务团队间没有统一数据标准，数据口径难以保持统一，数据质量参差不齐。

业务集市治理要点

• 治理方法：结合传统集市治理工具、制定标准规范、进行历史重构。
• 步骤：
  • 理数据
  • 定标准
  • 做规划
  • 建模型
  • 供服务

业务集市治理实践

数据体系规范化框架

• 数据体系规范化框架实践：
  • 全量数据与增量数据处理。
  • 用户行为日志、流量指标、交易指标等各类业务指标的规范化处理。
  • 中台基础模型与业务模型的构建。
  • 数据仓库标准通用基础模型与业务配置。
  • 商品维表、主题指标计算、渠道商品店铺品类模式部门等。
  • 在线期间运营效果复盘分析、历史数据沉淀、数据看板展示等。

集群治理

• 业务基础模型规范：

  • 按照不同业务线组织数据，进行明细数据整合，解耦数据源，简化数仓模型使用复杂度。
  • 封装标准口径，支持常用指标和维度分析。

• 订单明细：

  • 各业务角度用户身份、订单明细等。
  • 用户宽表封装APP层口径，支持自定义时间粒度，节约计算和存储资源。

• 业务通用模型实践：

  • 应用数据层为专题经营分析服务，按需求设计模型。
  • 组合度量定义主题衍生指标、基础指标、复合指标等。

• 指标维度值统一：

  • 对不同维度组合进行聚合，生成全局唯一场景值编码。
  • 实现跨主题拼接，支持反推。

• ClickHouse字典刷岗：

  • 维表加载到字典，优化查询效率和逻辑。
  • 字典数据量大，占用空间减少，实现业务场景优化。
  • 提升查询速度，减少内存消耗。

未来展望

• 湖仓一体：实现流批一体，提高资源利用效率和应用敏捷性。
• 资源高效：提高资源利用率，降低成本。
• 业务智能：增强数据分析和决策支持能力。
• 安全可信：确保数据安全和可信度。
• 自动化智能化：推动自动化和智能化进程，提高业务智能水平。