FlinkCDC增量快照框架详解
1. FlinkCDC简介
FlinkCDC 是一种基于数据库日志 CDC (Change Data Capture) 技术，实现了全量和增量的一体化读取能力。它借助 Flink 强大的管道能力和丰富的上下游生态，支持实时捕获、加工多种数据库的变更并输出到下游。
2. FlinkCDC增量快照算法
- FlinkCDC1.0 痛点：
- 不支持全量读取阶段的 checkpoint，导致数据同步中断后需要重新开始。
- 加锁问题：加锁可能导致数据库挂起，影响数据库性能。
- 单并发限制：处理大表时耗时长。
- 改进方案：
- 采用无锁算法，支持并行读取和断点续传。
- 基于 DBLog 算法的变种，实现全程无锁。
- 支持全增量一体化。
3. FlinkCDC增量快照框架
- 核心 API：
DataSourceDialect：用于定义不同数据源的方言。JdbcDataSourceDialect：针对 JDBC 数据源的接入。普通数据源接入 和 社区 Connector 接入：支持 MySQL、MongoDB、Oracle 和 TDSQL 等多种数据库。
4. 社区发展规划
- 版本历史：
- 2020.07.07：支持 MySQL CDC。
- 2020.07.18：支持 Postgres CDC。
- 2021.05.12：发布 1.3 版本。
- 2021.08.11：发布 2.1 版本。
- 2021.11.15：发布 2.2 版本。
- 2022.03.27：发布 2.0 版本。
- 社群发展：
- 2021 年 7 月：在北京的 Flink Meetup 成立了 FlinkCDC 社区群，成员人数为 4 人。
- 2022 年 8 月：社区群已增长至 6000 多名开发者和用户。
- 未来规划：
- 框架完善与推广。
- 生态集成与数据湖支持。
- 更多 DB 易用性提升。
- 文档/教程开发。
- Schema Evolution 和整库同步功能。
通过上述内容，可以看出 FlinkCDC 在实时数据处理领域具有强大的功能和广泛的应用前景。
