快手基于自动化治理实践驱动数据成本零增长_孙伟

数据治理概述

• Why：对抗大数据系统的熵增，让数据管理有序、可控，并实现价值最大化。
• What：保障数据质量，合理降低数据成本，守住安全红线，优化数据架构。
• How：通过管理+治理，结合有效的评估体系、组织与流程机制，以及工具能力，驱动可持续治理。

成本治理方案

• 思路：通过成本元数仓和技术白盒化降低成本。
• 成本元数仓：计算用量公式=任务数×调度频次×申请计算资源数×运行时长×优先级权重；存储用量公式=单行单列存储量×列数量×行数量×表数量×EC副本数量。
• 技术白盒化策略：通过计算用量和存储用量公式进行成本控制。

自动化治理实践

• 生命周期自动纠正：
  • 生命周期规范：根据数据等级、分层、可恢复性及恢复成本制定标准生命周期规范。
  • 避免误删数据：通过数据血缘和查询访问日志判断，取最早分区和推荐生命周期的最大值。
  • 通知机制：三轮通知，用户可申请加白，无反馈后一周进行治理纠正。
• 0热度表/任务自动下线：
  • 避免误删数据：通过数据血缘判断下游依赖，结合查询访问日志和创建时间判断是否真实在用。
  • 通知机制：三轮通知，用户可申请加白，无反馈后一周进行治理删除和下线。
  • 数据恢复：自动下线任务和删除表可通过工具一键恢复。
• 任务参数自动调优（HBO）：
  • 通过分析作业历史运行指标，自动推断最优运行参数，减少资源开销，提升运行效率。
  • 优化资源配额、任务分片、功能参数（通过小文件合并等参数调整提升性能，自适应扩缩容CPU/MEM，自适应调整Map/Shuffle分片）。
• 增量自动化归因：
  • 面临的问题：业务烟囱建设导致大量相似模型，难以定义和计算相似模型。
  • 智能化相似模型检测：通过技术手段解决相似模型检测问题。

成本治理运营机制

• 治理收益：
  • 效率：治理效率提升N倍。
  • 成本：大数据成本节约上亿元。

总结

• 成本优化思路：通过自动化治理方案和技术白盒化降低成本。
• 自动化治理方案：
  • 自动化生命周期纠正（标准规范、血缘准确率）。
  • 自动化下线任务。
  • 自动化删除表。
  • 自动化参数优化（HBO）。
• 成本管理：评估、流程、组织。
• 技术白盒化：技术白盒化、业务白盒化。

展望未来：规划

• 自动化治理覆盖提升。
• 实时资源HBO。
• 业务白盒化治理自动化诊断。
• 数据湖治理。

展望未来：思考

• 对未来数据治理的进一步规划和思考。