4-5 JuiceFS 在数据湖存储架构上的一些探索

JuiceFS在数据湖存储架构上的探索

大数据存储架构概览

• 数据仓库：用于分析历史数据，但存在数据孤岛、数据格式多样、分散管理等问题。
• 数据湖：提供了一个存储原始数据的系统，支持多种数据格式，具有较低的成本和弹性，便于管理和处理大量数据。
• 湖仓一体：结合了数据仓库和数据湖的优点，提供统一的数据管理方式，支持机器学习和深度学习。

JuiceFS简介

• 概述：开源云原生分布式文件系统，基于Apache2.0协议，支持多种存储系统和协议。
• 特点：插件化的元数据引擎，支持多种存储系统（对象存储、Ceph、Ozone等），多协议支持（POSIX、HDFS、S3、NFS、Samba等），多系统兼容（Linux、macOS、Windows），Kubernetes CSI驱动，提供数据缓存、加密、压缩、回收站、配额等功能。
• 用户：小米、理想汽车、Shopee、知乎、火山引擎、网易游戏等。

JuiceFS与HDFS、对象存储的比较

JuiceFS与Lakehouse

• 依赖：Lakehouse需要文件系统的支持，包括List、原子重命名、并发写、强一致性等。
• 对象存储限制：基于key前缀的请求限制和API请求成本较高。
• 优化方法：JuiceFS通过增加多级前缀来优化对象存储的API依赖。

JuiceFS与其他工具