7-3 快手智能数据管理2.0

快手智能元数据管理总结

背景介绍

快手元数据管理的发展历程分为三个阶段：

1. 1.0阶段：主要关注元数据的创建与存储，采用单一平台存储。
2. 2.0阶段：实现平台化，涵盖数据表、生产任务、数据应用，提供搜索表、血缘分析、数据治理、资产管理等功能，对外提供接口服务和数仓服务。

主要问题

1. 1.0阶段存在的问题包括：
   • 数据质量问题频发。
   • 服务稳定性差。
   • 研发耗时长。
   • 系统烟囱式架构。

解决方案

2. 2.0阶段的主要改进包括：
   • 统一质量保障和存储。
   • 增强数据自动分级和智能元数据挖掘。
   • 提高数据及时性和成本管控。

关键技术

1. 统一接入：定义规范流程，减少开发耗时。
2. 统一存储：支持不同类型元数据的高效存储和查询。
3. 质量保障：通过分级修复和自动归因提高数据一致性。
4. 血缘分析：支持多维查询和异步分析，优化图数据库性能。
5. 数据自动分级：基于基准元数据集合自动推导分级结果。

应用

1. 数据治理：实现成本优化和数据及时性保障。
2. 资产管理：支持多维度分析，提高资产利用率。
3. 数据发现：通过智能元数据挖掘和自动分级提升数据发现能力。

成果与展望

1. 当前成果：开放生态下的元数据服务，覆盖多个业务场景，支持亿级实体关系。
2. 未来展望：进入3.0阶段，实现主动元数据管理，涵盖数据全链路各要素，并提供智能化的数据管理和治理解决方案。

总结

快手通过不断迭代和完善元数据管理平台，实现了从手动化到平台化的转变，并逐步迈向智能化管理。未来将继续推动智能数据管理的发展，为业务提供更高效的数据支持和治理能力。