Jingsong Lee - Flink Table Store：流批一体存储

核心观点与关键数据

业务需求

• 流批统一存储：打造流式数仓，支持流写、流读、OLAP 可查询、毫秒级实时流读、批写（INSERT OVERWRITE）。
• 统一抽象：提供最完善的 Flink Connector，支持 Flink SQL 所有概念、任意 Flink Job 输出、所有类型，同时要求 Managed、干净简单、支持大规模更新。

使用 Flink Table Store

• 表管理：支持创建、删除物理表，具备数据库级体验。
• 统一查询：基于执行运行模式（batch/streaming）进行查询，支持所有变更日志流。
• 统一写入：支持流式写入和批式写入（INSERT OVERWRITE），支持大规模更新。

理解 Flink Table Store

• LSM 结构：采用 LSM（Log-structured merge-tree）作为核心数据结构，支持高效更新和快速读取。
• 文件格式：采用列式存储格式，存储在 DFS 或云对象存储中。
• 性能优势：通过 Key Min Max 定位文件，Sort Merge Join 合并文件，实现高效更新和读取。

业界更新方案对比

• Copy on Write (DeltaFull)：定位文件和合并文件效率高，但实时性低。
• Delta Merge on Read (DeltaFull)：本质是延迟的 Copy+New，效率仍受限。
• Apache Hudi：BloomFilter 假阳性问题、Flink State 问题影响性能和可用性。

Roadmap

• V0.1：无服务，首个 beta 版本。
• V0.2：无服务，生产版本（6-7 月）。
• V0.3：Table Store 服务（9-10 月）。
• V0.4：Table Store 服务，支持 Lookup（后续版本）。

项目与价值

• 项目信息：Apache Flink 子项目，GitHub、用户文档、邮件列表、钉钉群。
• 短期业务价值：实时中间层可查、离线数仓加速，提供增量更新能力和准实时 OLAP 查询。
• 分层设计：Bronze/Silver/Gold 层级存储，支持实时查询和离线加速。