CubeFS产品介绍
CubeFS是云原生计算基金会(CNCF)孵化的新一代云原生开源存储产品，具备完整的文件和对象存储能力，支持S3、POSIX、HDFS等多种协议，可水平扩展至PB或EB级规模。
系统组件
- 资源管理子系统：包含多副本引擎和纠删码引擎，支持大小文件优化和高效回收机制。
- 元数据子系统：采用全内存缓存，支持线性扩展、定期快照、Raft wal日志，保证高可靠性和强一致性。
- 数据子系统：包含数据节点和对象子系统，支持多AZ部署和容灾。
多协议接入
CubeFS支持S3、POSIX、HDFS协议，实现多协议共享同一套元数据和数据，提升数据复用效率和资源利用率。
核心特性
- 可扩展性：支持水平扩展，各模块可独立扩展。
- 高性能：元数据全内存存储，支持多级缓存，大小文件优化。
- 多租户：支持细粒度的租户隔离策略。
- 云原生：基于CSI插件快速在Kubernetes上使用。
CubeFS在机器学习的应用
问题背景
传统CephFS存在MDS性能瓶颈、稳定性问题、多集群管理复杂、弹性资源差等问题，影响大规模训练效果。
CubeFS解决方案
- 多级缓存：缓存inode和dentry信息，减少客户端开销；利用GPU本地云盘缓存数据。
- 元数据优化：mp随机打散，避免热点数据；支持水平扩展的metaNode保证高可用。
- 混合云优化：公有云部署CubeFS配合本地缓存，解决跨AZ时延问题。
性能测试
- RESNET18在Dataloader worker=1、16时，性能分别提升360%、114%。
- AlexNet在Dataloader worker=16、24时，性能分别提升130%、80%。
- 相比私有云部署，公有云GPU加速性能提升12%-27%。
CubeFS在大数据中的应用
问题背景
传统HDFS集群存在NameNode单点瓶颈、多集群管理复杂、弹性资源差、成本高等问题。
CubeFS解决方案
- 统一存储：承接大数据冷热数据，降低TCO。
- 纠删码存储：存储超过100PB冷数据，在线降冷流程更快。
- 多副本引擎：副本数量弹性可调，支持1、2、3副本模式。
- 高耐久度：提供12个9的数据耐久度保证，支持跨AZ容灾。
成本效益
- 降低单位存储成本约30%，降低单位存储功耗。
- 存算机型区分，扩容成本更低，实现低碳存储。
性能优化
- 多副本引擎：作为缓存使用，加速访问。
- 小文件优化：聚合小文件，填充方式处理小文件。
- shuffle优化：单副本降低成本，异步删除加速清理。
关键数据
- 相比HDFS，CubeFS在shuffle场景下稳定性提升，总TCO下降，shuffle效率提升至0.9999。
CubeFS未来演进
- 智能分层
- 多版本快照
- 混合云
- 多云加解密
- QoS
- 回收站
- GDS
官方资源
- 产品官网：https://cubefs.io
- 代码仓库：https://github.com/cubefs
- 公众号：涵盖架构设计、业务实践、源码剖析等内容
- 微信小助手：提供产品交流、技术讨论等
