1-3 数据治理驱动下的开发治理平台建设

大数据开发治理平台建设

1. 平台建设背景

• 背景：大数据技术更新迭代快，前台业务多元化，企业组织形态复杂，数据指数级增长。
• 解决方案：B站选择了第三方DataWorks、Dataleap、数澜数栖平台及自研的berserker。

2. 平台建设之痛

• 问题：平台不够稳定、业务自建集群、任务运行在线下迭代更快、平台只分发数据不够、业务投诉多、推广新功能模块困难、个性化需求繁多、数据治理配合度低。
• 对策：通过平台集中式组织、BP制合作模式、业务优先只跪不舔组织工具、数据模型规范、数据质量治理、数据成本治理、数据集成传输、数据开发运维、数据治理工具、数据服务平台等方法来解决。

3. 数据治理驱动平台建设

• 平台规模：集群规模10,000+，日均新增数据15亿，日均作业量30,000+，DAU 3,000+。
• 演进里程碑：
  • 2017-2022年，平台从通用赋能、质量治理驱动、成本治理驱动逐步发展。
• 功能模块：
  • 数据集成能力：支持业务数据库快速接入Hive，支持数据从Hive导出到多种组件，实现流式数据汇聚与分析。
  • 开发运维能力：提供数据集成、即席查询、数据开发、数据管理、任务调度、任务运维、权限管理等。
  • 质量治理驱动：包括SLA保障、智能基线、DQC、回刷工具等。
  • 成本治理驱动：涵盖工作空间、用量账单、成本优化等。
  • 数据治理标准：建立数据规范、数据质量、任务优化、资源使用评价体系。

4. 产品策略思考

• 优先级：质量 > 成本 > 安全。
• 策略：注重业务合作，优先解决业务问题；关注新技术的应用；保持自持业务；运营数据而非仅做工具。

非常感谢您的观看。