3-5 SeaTunnel 超大数据量的数据集成平台 - 高俊

Apache SeaTunnel (Incubator) 数据集成平台

1. 设计目标

• 支持多种数据源和目标端，现有连接器数量超过50个。
• 提供离线和实时同步两种模式，同一连接器通过配置即可轻松切换。
• 支持流批一体，只需实现一个连接器即可支持流处理和批处理。
• 多引擎支持，包括Flink、Spark等。
• 高吞吐量和低延迟，支持分布式快照算法和幂等写入。
• 易于扩展和使用，面向应用的API简化了同步作业配置。

2. 现状

• 支持超过20种数据源和20种目标端，以及10种转换器。
• 流批一体功能已实现，简化了开发和维护。
• 多引擎支持，适应不同企业技术栈。
• 高吞吐量和低延迟，支持两阶段提交和Exactly-Once语义。

3. 整体设计

• Engine Independent Connector API：定义一套通用的API，减少针对不同引擎的重复开发。
• Connector Translation：通过Translation层将Connector与引擎解耦，提高灵活性和可维护性。
• Source API：统一离线和实时API，支持并行读取、动态发现分片等功能。
• Sink API：支持状态存储、分布式事务和聚合提交等功能。

4. 近期规划

• 连接器数量翻倍：计划在今年内将连接器数量翻一倍，达到80+。
• 发布SeaTunnel Web：提供可视化作业管理和编程式作业配置。
• 优化资源使用：提升容错能力和调度效率。
• 过程监控：增强作业过程监控能力。

5. 连接器接入激励计划

• 接入激励计划：基于SeaTunnel Connector API，鼓励开发者贡献连接器，提供积分、礼包等激励措施。

关于Apache SeaTunnel (Incubator)