湖仓存储系统设计剖析和性能优化

湖仓系统核心设计与性能优化

湖仓系统概述

• 阿里云EMR湖仓系统：包括数据开发和治理、数据湖存储和计算层。
• 数据湖存储：包含标准型、低频型、归档型和深度归档文件存储。
• 计算层：支持E-MapReduce、Databricks、DIMaxCompute和Hologres等。

数据管理与优化

• 数据湖构建与管理：使用DLF（Data Lake Framework）进行数据湖构建和权限管理。
• 元数据服务：提供元数据管理和生命周期管理。
• 文件合并与聚簇索引：支持文件合并和聚簇索引以优化数据访问。

核心设计

• 元数据：包括Schema、配置和数据文件列表。
• DeltaLake：通过CKP元数据文件加载最新数据。
• Iceberg：通过metadata文件和manifest文件加载数据。
• Hudi：通过解析hoodie.properties文件加载数据。
• Merge-On-Read (MOR)：减少写放大，合并增量数据，支持Hudi和Deltalake。

性能优化

• 查询优化：
  • 元数据加载：支持单点加载和分布式加载，适用于不同规模的数据表。
  • EMR Manifest：适用于大规模表，支持定期和增量构建，降低内存压力。
  • EMR Datalake Metastore：提供更强大的事务保证和更丰富的元数据信息。
  • Optimizer with statistics：支持成本基优化（CBO），收集统计信息以优化查询。
• 表扫描：
  • 文件合并：支持Delta、Hudi和Iceberg的文件合并策略。
  • 元数据裁剪：使用Bloom Filter和行级索引提高查询效率。
• 写入优化：
  • 表类型选择：支持Copy-On-Write (COW) 和 Merge-On-Read (MOR)。
  • 参数调优：优化写入操作类型、Parquet/ORC配置和TableService设置。
  • PostProcess：支持流式写入和湖表管理。

通过上述设计和优化，阿里云EMR湖仓系统能够有效提升数据处理效率和查询性能。