1-5 云原生开源分布式存储CubeFS在数据湖的探索与实践

CubeFS设计原理

• CubeFS简介：CubeFS是CNCF开源的云原生分布式存储系统，提供多种访问协议（S3、HDFS、POSIX），适用于大数据、AI、容器平台、数据共享与备份等场景。自2019年开源以来，持续更新并加入CNCF沙箱项目。
• 关键特性：
  • 小文件友好，随机读写友好
  • 兼容POSIX、S3、HDFS接口
  • 多租户资源隔离
  • 强一致性
  • 弹性扩展和分层存储
• 系统架构：
  • 元数据子系统：采用静态和动态子树分区，支持PB级元数据管理，提高扩展性和本地性。
  • 数据布局：支持小文件聚合、高效垃圾回收、顺序写副本复制。

CubeFS在数据湖存储的探索

• 数据湖定义：统一存储原始数据（结构化、非结构化、半结构化），支持AI+大数据分析。
• 当前挑战：
  • 大数据存储现状：HDFS集群存在单点故障、元数据节点性能瓶颈等问题。
  • 对象存储缺乏文件语义，操作成本高。
• 解决方案：
  • 纠删码子系统：支持EB级规模，数据耐久性达11个9。
  • 湖加速：包括数据加速和元数据加速，优化访问速度和成本。

CubeFS在OPPO的应用实践

• 应用情况：应用于文件共享、数据备份、分布式编译、大数据分析、机器学习等。
• 机器学习：
  • 集群规模：数十PB存储量，近百亿文件。
  • 性能提升：元数据性能显著提高至1毫秒。
  • 可用性提升：从99.9%提升至99.99%。
• Spark Shuffle：支持远程shuffle，优化集群资源利用。

后续计划

• 数据编排、数据压缩/重删、快照、QoS等方向持续改进。