B站基于Iceberg构建秒级响应湖仓一体平台的技术实践

现状与背景

• Hive数仓痛点：查询性能低（无法满足交互式分析）、出仓链路复杂、数据冗余、时效性差。
• 目标：实现查询高效、使用便捷。

湖仓一体架构与Iceberg表结构

• Iceberg表结构特点：
  • 文件级别的元数据管理。
  • 开放格式，完善的tablespec定义。

查询加速技术

• 排序优化：
  • Iceberg表记录每列的MinMax统计信息，用于planfile文件过滤。
  • 数据排序后过滤效果更佳。
  • InterleaveOrder和HilbertCurve提升聚集性。
  • 基于Boundary Index的Z-ORDER计算。
• 索引优化：
  • BloomFilter（小空间、支持等值查询、有false positive）。
  • Bitmap（大空间、支持等值和范围查询、精准匹配行号）。
  • BloomRF（分段单调有序哈希函数、支持等值和范围查询）。
  • TokenBloomFilter/NgramBloomFilter及TokenBitmap/NgramBitmap（用于日志场景）。
• 预计算：
  • Cube/AggIndex：文件级聚合，支持单表和星型模型，定义维度字段和聚合值（Count、Min、Max、Sum、Avg等）。
  • 聚合值处理：可累加的存储聚合值，不可累加的存储binary中间结果。
  • 查询改写：判断聚合计算是否符合cube定义，改写逻辑计划，TableScan切换到cube模式。
  • 仅有部分文件生成Cube时，未生成Cube的数据现场计算，与Cube数据union后再global merge。
• Star-TreeIndex：
  • 参考ApachePinot实现，Cube定义选取最细粒度维度字段，响应不同维度组合查询。
  • Cube数据量随维度数量增长，按维度字段排序分层创建star-tree，生成starrecord，根据split threshold判断是否创建子节点。

智能优化

• Magnus服务：
  • 后台优化。
  • Iceberg表详情展示。
  • 智能推荐。

现状与落地情况

• 主要场景：BI报表、指标服务、A/B Test、人群圈选、日志。
• 落地数据：
  • Iceberg表总量5PB，日增75TB。
  • Trino查询P95响应时间5s。