1-6 郭轶轩 - 流批一体在快手的探索实践

DAMS 中国数据智能管理峰会 DATA&AIMANAGEMENTSUMIT 快手流批一体实践 演讲人：，郭轶轩 01 快手Flink 介绍快手Flink的规模及应用 DAMS中国教据智旗育理峰会 快手Flink规模 Flink 集群规模任务规模AZ Flin分设客实慢障 DAMS中国教据智能管理蜂会 快手Flink应用 壮科商业化电商KafkaRocketMaHive 生活 音视翔做平本地 HudiCKRedis 实时ELT数据产品经营分析监控实时预警RECO 格农爱时中间屋决策产品 .业多立播.实时A日■AD在裁拼接 达人因选*大屏实时特征 SKA看板 ToB产品.破晕载报新人一分购实时补贴调控 11DAMS中国教据智就管理峰会 02 流批一体架构 介绍快手及行业流批一体的思想 DAMS中国教据智能管理峰会 为什么需要流批一体 01现象 02 原因 03 目标 03 相决方素 实时摄择票要渐求度同环比 1.提供更快、准、稳 1.数据产品能力提升， 研发效率任Kafka不享Holap的致的实时数据，流是收实时需求 业务实时看欧诉求，提2.旁实CDM资产，收口 数据不一致快股数提受政计算量大升核心指标实时覆盖率瑞标加工逻辑 3.实时数仓聚构升级， 运维保障难 、任务峰值与业务峰值量量 供障要求更高，需要手动造 2.降低实时数据使用门检，降低模型复杂脂 获取技术红利，降低研 发复杂湿 计存成本高无数弱缺失，上下差不提升代码、模型的复用4.研发规楚化及工具况 DAMS中国故据智能育链会 快手流批一体的三个阶段 Flinkhud 用户自发阶段流批一体阶段湖仓一体阶段 222021时,用产白益使用F0k使用Aahedi建统一的游在想将 nresirk来家少代开发三 DAMS中国教娱智能育理峰会 快手开发者自发阶段 Source业务逻辑Sink gokafka.gekafka. Filter HIVEHIME FlinkStresninNode DAMS中国教据智筑管理峰会 快手开发者自发阶段总结 优点 配置化开发：业弱代码扭架支配置化切换心和S 进护成本低：代码姓护相对方便，说批一查代码 不足 换定生差：抗模式，所右整按谢到状态里再计算，状态很大TB别 ◆阅源开的大：说校式，算子实现不是批通震下最优重试成过高，流核式，ta出往掉，整个作业重试 DAMS中国教娱智能育理峰会 快手流批一体阶段 Lambda架构：实时数仓1.0 GLMNC8 架构： 证点快点 特性： 安限皮本，团以合作型术作 DAMS中国教据驾能育理综会 行业解决方案 BAGALl lambda架构： >时效 口径 响应 VS V构建 回人 致性 DAMS中国教娱智能育理峰会 计舞 中 行业解决方案 LEDH 光光区Kappa架构： >ASRS+模型统 cea★口径统 存储统 KRRA DAMS中国教娱智能育理峰会 快手流批一体阶段 实时架构2.0 O.WODNB Kaes Rirxsen Fik.burt 版产品 流批融合 学宽表场景支持 ★存诺融合 学稳定性 Firksdss HOFS DAMS中国教娱智能育理峰会 快手流批一体阶段 Flinkbatch存在的问题 慢节点问题机器或网络造成的长尾问题 TMShuffle不稳定节点异常退出导致托管的shuffle文件不可读，影响下游任务 高线任务稳定性差离线集群开启资源抢占，中低优任务的资源频繁被抢占 离线集群宽源紧张，导致并发之问间splits分布不均匀，fo开销大 DAMS中国教标智管理蜂会 快手流批一体阶段 传统引擎方案的挑战 工具依赖OLAP Fk本身不克净talo等引草层面的谨壮染一糖将LAP引障的各神特性，燥障漆批效据可见性 共群支持菩适性 批任疗运性显率在较高，活或果胖非有,支持的展现形式有阻，对于款提产品美因化姓度分折支持控好，别的项最本知 DAMS中国教娱智育理峰会 湖仓一体阶段 业务应用场景 toHudi: Mys/2Hudl米DB同步加还 米控世路加设产出 素兼鲁离据性路。无感开发 PaimorePaimon Kafks2Paimon Kafka2HuditoPaimon Kappa柔购量PK特性加速产出 贵流批Kappa染构 TEC... DAMS中国教据智筑管理蜂会 湖仓一体阶段 通用架构 ETLE QQQ DAMS中国教娱智能育理峰会 湖仓一体阶段 快手湖仓方案选型核心目标 湖格式选型时效性 Hud在快千己已经有长其职富及落地，青需没逐原鼻张，基腰癌对有差生，清要 在深场果扩充能力着重快化比现状 口径资源复用 入出任务与任然任务有天照五异，需来在买时周装计算资弹有明显浪费 DAMS中国教据智能管理峰会 湖仓一体阶段 实时3.0场景 1kg06 Hn 架构普适性 端到端时效性 多元化交付方式 DAMS中国教娱智管理峰会 湖仓一体阶段 实时3.0场景 多元化效据交付方式 服务类型查询复杂度Q高PS服务提供方式 中 数据产品简单复杂 中 数据产品(简单 数据产品复杂 数据产品复茶低 RECO(简单高 大屏(简单高 flink+CK物化视图flink+CK物化视图期表+Blecarm flink+Ck物化视图 物化视图湖表+Bleam flink+CKfink+kafka flink+CK 临时分析简单复杂低潮表+Bleam 113:#DAMS中国教娱智育理峰会 湖仓一体阶段 离线加速场景痛+点时：差 快于KafkaZHive万会存储 ggkafkaIVETVE MID& DMDE 坦点数出 特点 计算良额。行健原并指大 ph=17 o_dete202435062T243905 DAMS中国数据智能管理峰会 湖仓一体阶段 离线加速场景 快于Kafka2Hudi Bekafka 点数光 0245696 特点 DAMS中国教娱智能育理峰会 湖仓一体阶段 离线加速场景应用 全 CMTE Lpaat CMSA高时 DAMS中国数据智能育理峰会 DWD数据精准一次方案设计-问题和思路 数据解决 重复方式 当最任与素身造成的重是 DAMS中国据智能管理峰会 DWD数据精准一次方案设计-方案考量因素 整体数据数据业务 时延大小质量特性 北子致挥升英数带乔叶是百有主区数书压量要求 客户器理点效据巨＊，500wy5+可以接受一定范们务railboer成的 务in有主 99.9%-99.99% DAMS中国教据智能管理峰会 DWD数据精准一次方案设计-方案对比 湾台 *+k，+74容作业，$ ，量 >1.1ist&wsuMe，ng FSE DAMS中国教据智能育理峰会 展望 交付 方式存诺致性 多元化数据交付方式削峰填谷均勾集群瓷源多种分析场景方案归 证拉满群卫合使用，量大化列用军 DAMS中国据智能管理峰会 DAMS 中国数据智能管理峰会 DATA&AIMANAGEMENTSUMIT THANKYOU!