DataWorks Data Agent：面向Flink实时数据工程的智能开发与治理实践

Dataphin 基于Flink 实时非结构化实践总结

AI 时代的非结构化数据

• 企业非结构化数据占比高达86.8%，但利用率低，形成冷资产。
• LLM 技术兴起，使得非结构化数据处理成为可能，降低处理门槛。
• 未来10年将是非结构化数据处理崛起的时代，核心需求是实时处理。

Dataphin + Flink：机遇与挑战

• Dataphin 和 Flink 分别提供数据治理和实时计算能力，满足非结构化数据处理需求。
• 客户诉求主要集中在客服、工单、IoT、舆情分析等场景。
• 非结构化数据处理面临数据形态异构、计算复杂、实时引擎机制、治理体系融合等挑战。

Dataphin 实时非结构化设计平台

• Dataphin 通过非结构化数据治理，供给高质量数据集资产，形成统一的数据资产目录与全景视图。
• 统一数据处理框架，将多模态加工抽象为可编排算子，标准化输入输出，统一调度。
• 核心抽象：数据集，将文件、表、混合数据统一抽象为“表”，支持元数据和数据的分离，复用结构化处理技术。

基于Flink 的技术架构

• Flink 流程处理和算子计算分离架构，解决数据形态异构、来源复杂问题。
• 算子和计算流程分离架构，解决计算类型多样、结果差异巨大问题。
• Flink session 复用资源，解决数据到达无规律问题。
• 自研算子调用管理模式，解决 Flink 算子调用管理问题。
• 复用 Flink 流式计算能力，解决 MapReduce、资源调度、分布式、状态、failover、流控等问题。
• 数据集定义血缘 + 基于元数据的 TraceId 追踪，解决非结构化数据治理问题。

业务应用展示

• 典型案例：某医药公司知识库解决方案，利用非结构化数据构建企业级知识底座，可视化搭建医药行业实体及其关系图谱。

总结与展望

• 实践经验：复用 Flink 已验证能力，给非结构化定义结构化ID，复用传统的结构化平台工具。
• 未来规划：算子生态扩展、资源统一、治理深化。