张静- ApacheFlink流批一体的规划和在快手的进展

AI智能总结

为什么要做流批一体计算引擎：
- 降低开发成本：一套业务代码。
- 提高数据质量：口径一致。
- 降低资源开销：避免重复计算。
- 降低运维成本：维护一套引擎。
- 降低学习成本。
流批一体架构：
- API：统一API (已完成1.10~1.14版本)，包括SQL & Table API、Relational Data Set、DataStream、物理计划等。
- 调度：Pipeline Region (已完成1.12版本)，以Pipelined边连接的Task集合为基本的调度单元。
- 调度策略：AdaptiveBatch Scheduling (引入于1.15版本)，根据已结束的producer的数据量动态确定下游并发度。
- 可插拔Shuffle API：支持Blocking Shuffle、Pipeline Shuffle和Hybrid Shuffle（规划中）。

现有痛点：
- 资源浪费：TaskManager无法立刻释放计算资源。
- 容错开销：TaskManager异常挂掉，恢复开销大。
- 稳定性：长尾节点拖慢任务。
- 易用性：手工配置并发度，难以合理配置。
解决方案：
- Remote Shuffle Service：调度器与Shuffle服务对接。
- Speculative Execution：支持推测执行，减少任务延迟。
- Adaptive Batch Scheduler：动态调整并发度，适应数据量变化。
技术进展：
- Remote Shuffle Service：已对接内部服务，并完成全链路功能验证。
- Speculative Execution：核心调度层设计已完成POC，部分Sink支持推测执行。

Spark和Flink在批计算方向的能力矩阵：
- SQL语法：Spark已具备，Flink规划中。
- JOIN hints：Spark已具备，Flink规划中。
- ANSI SQL兼容性：Spark已具备，Flink规划中。
- SQL功能：Spark已具备，Flink规划中。
- 复杂类型转换：Spark已具备，Flink规划中。
- 动态并行度：Spark已具备，Flink已具备。
- 动态合并shuffle分区：Spark已具备，Flink规划中。
- 动态切换join策略：Spark已具备，Flink规划中。
- 动态优化偏斜join：Spark已具备，Flink规划中。
- 推测执行：Spark已具备，Flink规划中。
- 远程Shuffle服务：Spark已具备，Flink已具备。
- SQL Gateway：Spark已具备，Flink规划中。
- OLAP：Spark暂不支持，Flink规划中。
- 运行时过滤：Spark已具备，Flink规划中。
- 混合shuffle：Spark暂不支持，Flink规划中。
- 向量化执行：Spark暂不支持，Flink仅在Databricks运行时可用。