4-3 Delta 技术原理及其在 eBay 的实践

Delta Lake技术原理及其在eBay的实践

Delta Lake原理

• 定义：Delta Lake是一个开源存储框架，支持包括Spark、PrestoDB、Flink、Trino和Hive在内的多种计算引擎，并提供Scala、Java、Rust、Ruby和Python等语言的API。
• 核心特性：
  • 使用紧凑的日志记录来提供ACID属性、时间旅行功能和快速的元数据操作。
  • 提供高级功能如自动数据布局优化、缓存和审计日志。

项目背景

• 背景：商用MPP数据仓库成本高昂，希望采用开源解决方案以平滑迁移并保持查询性能一致性。
• 目标：迁移核心财务数据表，确保SQL语法一致，用户无感知。
• 挑战：大量更新和删除请求，需要支持跨表更新和删除。

改造与实践

• 时间线：2019年11月至2021年11月。
• 功能增强：
  • 语法增强：支持跨表更新和删除。
  • 约束：支持NOT NULL、UNIQUE、PRIMARY KEY、FOREIGN KEY、CHECK和DEFAULT等约束。
• 性能优化：
  • Join优化：通过过滤推下减少扫描行数。
  • 其他优化：支持子查询、转换为Delta表等。
• 易用性：
  • 自动真空服务：定期清理非当前快照的文件。
  • 透明表压缩服务：自动合并小文件，提高存储效率。

通过以上改造与实践，Delta Lake成功应用于eBay，解决了大量更新和删除请求带来的挑战，提高了系统的稳定性和性能。