2-2 小米大数据存储服务的数据治理实践 - 李经纶

小米存储服务治理实践总结

1. 朴素数据治理

• 主要措施：通过服务盘点和成本优化，识别成本最高的服务和集群，并由服务负责人负责优化任务。
• 优点：
  • 目标清晰，简单高效。
  • 业务快速发展期效果显著。
  • 人力消耗少。
• 遇到的问题：
  • 资源利用率和成本不可观测。
  • 没有成本意识，缺乏反馈。
  • 各个服务独立算账，难以对齐。
  • 服务负责人与业务沟通难度大。

2. 用大数据治理大数据

• 主要内容：通过构建元仓实现数据资产化，包括统一口径、特征规则和资产健康分等。
• 关键数据：
  • 主机数减少23.8%。
  • 主机成本降低38.9%。

3. HDFS治理实践

• 方案选型：选择全球统一架构，避免使用海外EBS。
• 主要技术：
  • 文件转对象：保存对象URI，记录文件类型。
  • 读取机制：使用Block Token，带宽控制，Transform重试，短路读。
• 治理结果：
  • 48.45%的数据可以转为温数据或冷数据。

4. HBase治理实践

• 主要技术：
  • HDD磁盘。
  • HDFS Tiering：将数据转存到对象存储。
  • HDFS EC：采用EC存储。
  • 高密度机器。
• 应用场景：
  • 场景一：备集群一致性要求高，离线集群Tiering。
  • 场景二：备集群可用性要求高，EC存储。
  • 场景三：在线表和时序数据冷热分层。
  • 场景四：7天只写不读的在线表。
  • 场景五：7天无读无写的在线表和离线表。
• 治理结果：
  • 缩容16.6%。

感谢观看，欢迎加入lijinglun@xiaomi.com