快手数据治理在质量方向上的实战 -刘一凡

快手数据治理在质量方向上的实战

快手概况

• 使命愿景：成为全球最痴迷于为客户创造价值的公司，帮助人们发现所需、发挥所长，持续提升每个人的幸福感。
• 用户数据：平均日活跃用户数为22Q1的3.4亿+，平均月活跃用户数为22Q1的5.9亿+，日均时长为22Q1的128分钟。

快手大数据平台

• 平台建设：统一建设数据仓库和数据系统，制定规范流程。
• 数据量：EB级总数据量，PB级日净增数据量，万级集群规模，十万级日作业量，万级日活跃用户数。

数据质量与治理

• 数据质量挑战：数据源数据集成、数据仓库、在线数据库、数据服务、数据应用等环节存在多种质量问题。
• 解决方案：采用北极星指标（数据质量故障数），构建数据治理平台（数据质量评估体系及质量健康分），实施SQL扫描、代码测试、变更诊断、埋点监控、生产监控（DQC/SLA）、应用监控（一致性对比）等措施。

指标体系建设

• 通用性问题：缺少指标服务、流程规范和互联互通机制。
• 设计理念：统一指标管理，确保命名唯一性，使用词根组成，明确角色及流程管控。
• 监控与服务：实现指标的准确性和及时性保障，提供一致性检测和SLA检测，确保指标出口统一。

指标平台的应用

• 服务模式转变：从UGC模式到PGC模式，提高服务灵活性和质量保障。
• 商业实战：生产侧数据集建设、消费侧数据分析产品，实现自助分析和数据集推广。
• 成果：OLAP服务配置、跨源查询、UDF离线查询，查询量达到100万+/天。

未来规划

• 完善生态：加强模型设计、数据生产和数据服务。
• 统一语言：建立统一建模语言和查询语言。
• 智能化：引入智能建模和智能优化。
• 开放共享：开放标准和开源平台。