1-6 郭轶轩 - 流批一体在快手的探索实践

快手流批一体实践总结

01 快手Flink介绍

• 快手Flink规模：集群规模、任务规模、可用区（AZ）等详细信息未具体展开。
• 快手Flink应用：涵盖流批一体架构的实践和行业应用。

02 流批一体架构

• 为什么需要流批一体：
  • 提升数据产品能力，满足实时需求。
  • 统一CDM资产，实现标准化加工逻辑。
  • 升级实时数仓架构，获取技术红利，降低研发复杂度。
  • 规范化研发及工具化。
• 快手流批一体的三个阶段：
  • 用户自发阶段：开发者自发使用Flink减少代开发，使用Airflow构建统一流处理想法。
  • 流批一体阶段：
    • 行业解决方案：Lambda架构、Kappa架构等。
    • 快手流批一体阶段：
      • Flink batch存在的问题：长尾问题、慢节点问题、节点异常退出影响下游任务、资源抢占问题。
      • 传统引擎方案的挑战：工具依赖、OLAP特性支持不足、集群支持性、普适性、任务运行稳定性。
  • 湖仓一体阶段：
    • 业务应用场景：数仓同步加速、数仓控制路路产出、素兼鲁离据性路、无感开发、to Paimon、量PK特性加速产出。
    • 快手湖仓方案选型核心目标：
      • 湖格式选型：时效性、资源复用、口径。
    • 架构普适性：端到端时效性、多元化交付方式。
    • 实时3.0场景：实时数据处理优化。
    • 离线加速场景：快手Kafka+Hive组合，计算量巨大，行健原并指大；快手Kafka+Hudi组合，湖仓一体阶段。
• DWD数据精准一次方案设计：
  • 问题和思路：数据精准性问题及解决方案思路。
  • 方案考量因素：多因素对比分析。
  • 方案对比：不同方案的优劣对比。

展望

• 多元化数据交付方式：多种分析场景方案归一。
• 削峰填谷均勾集群资源证拉满群卫合使用，量大化列用军。
• DAMS：未来发展方向。