Iceberg实时湖仓数据分析性能优化

Arctic 基于 Iceberg 性能优化总结

01. Merge On Read (MOR) 技术原理

• 定义：MOR 是一种行级更新技术，本质为 out-of-place update，通过单独记录数据变更并在读取时合并历史数据与变更来获取更新后的值。
• 更新代价：更新操作代价较小，读取操作代价较大。
• 两种删除策略：
  • Equality-delete：将历史数据读入内存构建 Hash 表，与数据比对后丢弃匹配数据。优点是构建成本低，缺点是内存消耗高，需额外读取比对字段。
  • Position-delete：通过构建 Bitmap 或 Sort-Merge 比对，内存消耗较低且无需额外字段比对。但存在一定的构建成本，且一个 Position-delete 只对应一个 Datafile 以充分利用 Iceberg 的 data-skipping 功能。
• 优化效果：相较于传统 data+delete 方案，MOR 在删除比例不高时能减少写放大，降低 HDFS Name-node 压力、Iceberg 元数据数量及查询时打开文件的代价。

02. Arctic 基于 Iceberg 的优化机制

• 核心功能：在开放数据湖格式基础上提供流和更新场景优化，及可插拔的数据自优化机制和管理服务。
• 优化方式：
  • 自动执行：定时监听小文件数量触发 AMS 调度异步执行 Optimize。
  • 资源隔离：AMS 提供表级资源组管理和配额设置。
  • 灵活部署：基于 Flink 引擎支持 YARN、K8S，支持 AMS 在线扩缩容。
• 优化收益：
  • 减少文件数量，降低读取数据量。
  • 降低 MOR 时应用 delete 文件的代价，释放 CPU 和内存。
  • 充分利用 Iceberg data-skipping 功能，避免读取无效文件。

03. 优化效果评估

• 基准测试：
  • TPC-C：用于评估 OLTP 负载，混合只读和更新密集型业务事务。
  • TPC-H：模拟决策支持系统，检查大量数据并执行复杂查询。
  • CH-benchmark：结合 TPC-C 事务和 TPC-H 查询，形成复杂混合工作负载。
• 评估工具：
  • CH-benchmark 详情：https://arctic.netease.com/ch/benchmark/benchmark-step
  • Lakehouse Benchmark 工具：https://github.com/NetEase/lakehouse-benchmark
  • FlinkCDC：https://github.com/NetEase/lakehouse-benchmark-ingestion

04. Arctic 数据文件优化策略

• 文件类型：
  • Parquet：列存模式，压缩比高，写入读取 IO 少，支持列裁剪和谓词过滤，但内存消耗较高。
  • AVRO：行存模式，压缩比相对较低，但解压缩代价更低。
• 压缩类型：根据机器和业务选择合适的压缩类型，平衡压缩比和解压缩代价。
• 排序与索引：
  • 异步数据全局排序：支持普通排序和 Z-order 排序。
  • 异步二级索引构建。

05. 数据分配算法

• 问题：等效于 k-way number partitioning problem，为 NP-Hard 问题。
• 解决方案：采用排序+贪心算法（CGA）分配，得到次优解。
• 效果：相同 node 下的多个 data 文件分配在一个 Task 中，读取时 delete 文件只读取一次，进一步优化性能。