5-2 快手 HDFS 的技术演进

快手HDFS的技术演进

1. 技术背景与挑战

• 数据量快速增长：从2017年到2021年，离线存储数据量和对象存储数据量显著增加。
• 存储成本压力：数据量增长导致存储成本上升。

2. 技术演进与架构改进

• RBF架构：引入Router-Based Federation（RBF）架构，实现集群的横向扩展。
• namenode细粒度锁：通过拆分锁机制，提升单个namenode的读写服务容量。
• 元数据通路扩展性：通过引入RBF架构，解决了元数据服务容量瓶颈的问题。
• 跨Region集群构建：实现跨地域集群的构建，提高数据访问效率。
• 成本优化体系建设：通过多种存储类型和数据管理策略，优化存储成本。

3. 关键技术细节

• 对象存储类型：
  • 标准存储：本地冗余和同城冗余。
  • 低频存储：本地冗余和同城冗余。
• 低频存储：
  • 支持多种EC算法（RS、XOR、LRC），灵活的K+M配比。
  • 条带跨DC放置，支持离线EC和在线EC。
• 数据管理：
  • 基于访问热度调整存储类型和缓存策略。
  • 数据静默错误检测与修复机制。

4. 访问性能优化

• 就近原则：元数据请求和数据IO遵循就近原则。
• 缓存机制：
  • 写缓存：针对ETL作业提前缓存。
  • 读缓存：应对突发跨Region数据流量。
• 带宽管控：采用集中式流控方案，合理分配带宽。

5. 未来规划

• 缓存：提升缓存性能。
• 单机存储引擎：优化单机存储引擎性能。
• 存算分离：实现存算分离架构。
• 多协议：支持多种存储协议。
• 异构存储：支持异构存储设备。
• 在线EC：逐步实现在线EC。
• 优化副本放置：优化副本的放置策略。
• 缩短恢复时间：提高数据恢复效率。
• 多租户：提升多租户的可用性和可靠性。