Apache Flink 在AI时代的探索与发展

实时AI智能体与数据分析

• 实时AI数据分析：涵盖情感分析、信息提取、VOC标注、标签挖掘等，应用于舆情监控、活动介绍、售后维修等场景。
• 项目需求与痛点：传统方式效率低、效果不足、成本高。
• 方案价值与成果：高吞吐（240万条/小时）、低成本、高精确度，通过Flink+百炼+Kafka架构实现。

事件驱动型AI智能体

• FlinkAgents：由阿里云主导发起的开源社区项目，计划9月底发布MVP版本。
• 特点与需求：事件驱动，支持流批一体化处理。

Hive数仓到Lakehouse的升级

• Lakehouse架构：融合结构化与非结构化数据，统一管理、开放、可扩展。
• LakehouseCatalog：提供数据与AI的统一治理，支持Paimon表管理。
• PaimonRESTAPI：基于REST体系，提供湖表和文件管理，支持多模态数据存储和高性能查询。
• PaimonRESTServer：新一代REST网关，接口访问时延提升10倍以上，支持用户管理、权限控制、审计和治理。

实时数仓演进之路

• 实时数仓1.0：烟囱式开发，数据孤岛，一致性差。
• 实时数仓2.0：伪流批一体，成本高、性能瓶颈。
• Lakehouse探索选型：基于Flink+Paimon架构，实现湖仓协同、统一存储、流批一体。
• 应用实践：淘宝闪购近实时需求，监控预警、业务决策、库存监控等场景。

未来畅想

• 流批一体：数据流动自然，无批处理和流处理界限。
• 智能化数据服务：数据工程师成为“智囊团”。
• 湖仓与AI深度融合：数据主动“思考”和“预测”。
• 开放生态体系：不同技术和谐共存。

FlinkCDC实现企业级实时数据同步

• 传统数据集成：全量和增量同步，组件复杂，维护困难。
• FlinkCDC方案：统一增量和全量数据实时集成。

流批一体LakeHouse架构实践

• 企业挑战：数据孤岛、流批分离、运维复杂。
• 解决方案：DLF+Paimon+计算引擎，统一存储、口径一致、生态开放。
• 收益：整体提效20%以上。

零售场景下的实时湖仓构建与实践

• 传统困境：设备老旧、软件版本滞后、业务稳定性要求高、数据处理能力瓶颈。
• 湖仓1.0问题：技术陈旧、慢且不稳、运维复杂。
• 架构选型：Flink+Paimon，技术前瞻、化繁为简、稳稳当先。
• 收益：数仓2.0提效明显，整体提效20%以上。

淘天搜推AB实验分析平台—通天塔

• 业务痛点：MQ数据消费冗余、数据探查困难。
• Fluss核心能力：列裁剪、Merge引擎、DeltaJoin、湖流一体UnionReads。
• 架构演进：一份数据存储一份，Fluss（10min）、Paimon（1year）。
• 场景落地：淘天搜推核心场景、搜推成交归因场景。
• 未来规划：多模态数据管道、Agent、模型预训练，逐步扩展到淘天搜推C端AB场景。

实时计算Flink版解决方案动手实践

• FlinkCDC方案：实现企业级实时数据同步。
• 流批一体LakeHouse架构实践：构建统一存储、口径一致、生态开放的云原生Lakehouse。