Jingsong Lee - Flink Table Store：流批一体存储

Flink Table Store 流批一体存储

业务需求

• 流批统一存储：构建流式数仓，支持流写、流读、OLAP 查询，毫秒级实时流读，批写（INSERT OVERWRITE）。
• 最完善的Flink Connector：支持Flink SQL 所有概念，支持任意Flink Job 输出，支持所有类型，提供数据库级别的体验，简单易用，支持大规模更新。

使用与理解

• 配置与创建表

  SET 'table-store.file.path' = '/tmp/store';
  SET 'table-store.bucket' = '4';
  CREATE TABLE clicks (user VARCHAR, url VARCHAR, cTime TIMESTAMP(3), PRIMARY KEY (rowkey) NOT ENFORCED);
  

• 操作示例
  • 批处理查询

    SET 'execution.runtime-mode' = 'batch';
    SELECT * FROM clicks;
    

  • 流处理查询

    SET 'execution.runtime-mode' = 'streaming';
    SELECT * FROM clicks;
    

  • 统一查询
    • 全量变化查询

      SET 'execution.runtime-mode' = 'streaming';
      SELECT * FROM clicks;
      

    • 最新变化查询

      SET 'execution.runtime-mode' = 'streaming';
      SELECT * FROM clicks /*+ OPTIONS('log.scan' = 'latest') */;
      

技术实现

• 流处理
  • 数据以变更日志形式存储，通过消息摄入生成表的变化。
  • 表的演变产生新的变更消息发送到流中。
• 批处理
  • 批处理写入或事务提交生成快照。
  • 批处理查询生成当前时间点的快照。
• 统一存储架构
  • 实现流式和批处理的统一存储和抽象。
  • 支持LSM树结构，提高更新和查询性能。
  • 采用列式存储格式，支持分布式存储。

行业更新方案

• Copy on Write
  • 定位文件：跳过无关文件。
  • 合并文件：Sort Merge Join 和 Hash Join。
• Delta Merge on Read
  • 支持高效定位和合并文件。
• LSM 树
  • 单机实现，支持更新和查询性能。
  • 列式存储格式，支持分布式存储。

项目与 roadmap