腾讯欧拉数据治理平台的思考与实践
1. 平台概述
腾讯欧拉平台是腾讯PCG自2019年开始推动数据治理建设的成果,目前在腾讯内部广泛应用。该平台基于DataOps理念,结合腾讯数据治理方法论,提供一站式数据产、管、治、用全生命周期的大数据能力。
2. 核心能力
- 数据发现:通过数据市场、数据洞察、服务市场为用户提供便捷的找数据、用数据体验。
- 资产工场:提供一站式建模、发布、测试、管理、服务化体验。
- 指标平台:打造统一指标平台,建设指标生态,实现指标治理平台化。
- 治理引擎:以资产健康分为牵引,提供成本、质量、安全等治理能力。
- 大同埋点:实现一站式埋点设计、开发、联调测试、发布审核、质量监控体验。
3. 数据治理目标
- 实现数据工业化生产和应用。
- 提升数据治理平台化能力,打造统一数据体系,沉淀企业数据资产。
- 规范化数据建模、运维,提升数据治理效率。
4. 治理专项
- 数据规范与标准:包括维度指标规范、命名规范、依赖规范等。
- 成本治理:包括成本计算、安全表安全等级设置、字段安全等级设置等。
- 资产化率:通过资产分项修复治理,提升资产化率。
5. 数据开发与治理
- 数据资产工场:实现开发即治理,通过规范化数据建模提升数据质量。
- 数据开发与治理:基于DataOps理念提升数据生产维护效率,实现一站式建模开发、测试发布、质量运维、版本管理。
6. 统一指标
- tMetric:提供标准化、规范化的指标生产流程,统一指标口径,建立认证机制,确保指标的权威性和可信度。
7. 数据地图与服务
- 数据地图:基于血缘关系和维度值的索引能力,实现基于关键词的全文检索。
- 服务:通过API Cloud实现一站式开发与运维,提高开发效率和降低技术门槛。
总结
腾讯欧拉数据治理平台通过提供一站式数据管理和治理解决方案,实现了数据资产的规范化建设和高效治理,提升了数据质量和治理效率,为企业提供了强大的数据支撑。