天穹OLAP：实时湖仓融合平台架构实践

实时数仓 vs 数据湖：实时数仓能实时处理和分析数据，响应查询需求；数据湖是集中式存储库，支持任意规模存储结构化和非结构化数据。
湖仓融合的意义：
- 在湖上建仓：数仓加速（数据湖远程IO成本高，性能待提升，不适用于高性能需求）、实时分析（传统数据湖写入实时性不足，Iceberg/Hudi支持分钟级时效性，无法解决秒级）、高并发查询（数仓更擅长）。
- 为什么要湖仓融合：降本增效（简化架构，提升易用性和可靠性，降低运维成本）、统一数据（统一存储和输出，保证数据一致性）、数据治理（统一主数据和元数据，实现上层数据治理）。

实时入库–Pulsar数据源：
- 背景：腾讯内部大量团队使用Pulsar，但SR消费性能差，亟需原生支持。
- 消费性能：集群消费峰值165w/s，单consumer消费能力2.5w/s（52MB/s），可水平扩展。
数据降冷–创建降冷任务：
- 降冷任务：新增命令，配置参数（内存、格式、超时时间等），指定导出表。
- 导出任务：扩展Export功能，支持导出到Iceberg、Hudi、Hive等表类型。
离线入仓–离线数据入仓：
- 难点：数据准备时间、任务调度时机、任务重跑数据更新。
- 统一调度：腾讯大数据自研平台，支持多粒度调度、任务依赖、重跑，日均执行实例超千万。
- 湖中数据准实时入仓：背景为业务通过Flink+Iceberg入库数据，新增准实时增量消费湖中数据功能。
融合查询：
- 自适应冷热查询示例：根据元数据中热表TTL、冷热表字段映射等信息改写SQL。
- 融合查询流程：解析SQL→改写规则→优化计划→生成执行计划。
- 性能测试：基于TPC-H数据集（100GB），SR内表查询性能是Presto查询Iceberg的4-65倍，是SR直接查Iceberg表的1-25倍；冷热融合查询可提升性能约3倍。