AI原生数据应用架构与落地探讨
AI原生数据应用架构与落地探讨 陈发强（踏天） 蚂蚁集团国际数据库负责人 1 2024/7/6 1 目录 背景 2 DB-GPT架构介绍 3 4 智能体应用实践与挑战未来规划 2 01| 背景 AI给数据领域带来的挑战与机遇？ 1.1大模型出现之后，交互方式的变化 大语言模型 LLMS|ChatGPT、通义千问、文心一言、LLaMA、Bard Assets｜Data Envs 云｜基础设施｜IAAS｜PAAS｜SAAS 领域模型 Code SQL NLU … 知识 工具 1.2多维数据企业的真实数据 1.结构化数据，如Excel、数据库 2.非结构化、文本、文档数据、日志数据 3.多维关系数据，如图、数据库 4.离线数据，数仓、数据湖等 无法通过单一的知识库进行处理 取 存 管 用 流 转 融 核 算 结构化 半结构化 非结构化 合规安全隐私质量高效稳定灵活 5 1.3数据的下一代交互范式 6 02| DB-GPT架构解读 AI原生数据应用架构思考、设计与实践 2.1项目介绍 DB-GPT是一个开源的AI原生数据应用开发框架AINativeDataAppDevelopmentframeworkwithAWEL(AgenticWorkflowExpressionLanguage)andAgents 目的是构建大模型领域的基础设施，通过开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力，让围绕数据库构建大模型应用更简单，更方便。 数据3.0时代，基于模型、数据库，企业/开发者可以用更少的代码搭建自己的专属应用。 项目优势 1、支持AI原生数据应用开发 2、智能体工作流编排 3、私域问答&数据处理&RAG(Retrieval-AugmentedGeneration)4、多数据源&GBI(GenerativeBusinessIntelligence) 5、服务化多模型管理 6、Text2SQL/Text2NLU微调7、数据驱动Agents框架 8、私有化部署、隐私安全 9、完全开源，采用宽松的MIT协议 8 核心特色 架构 2.2架构介绍 SMMF RAG Agents Workflow Text2SQL微调 数据洞察 可视化9 2.3隐私安全 10 2.4智能体架构 11 03| 数据智能体应用 数据智能体在实际场景中的应用与挑战 3.1数据库专家智能体-Kevin 数据库专家智能体应用 3.2效果展示-Web端 Kevin-智能问答Kevin-智能诊断 3.3效果展示-移动端 Kevin-问答助手 Kevin-数据分析助手 Kevin-数据运维助手 3.4构建技术 3.5知识构建 3.5意图识别 3.6智能体构建流程 1.资源准备(知识库、API、算子、插件)2.Agents构建3.Workflow编排 4.应用调试与发布5.应用对话与使用6.SDK集成/钉钉集成 3.7诊断智能体构建 发布上线 故障诊断 Agents构建 知识加工处理 领域文档准备 方案流程设计 3.8智能体构建 3.8智能体调试与发布 3.8智能体评测与使用 智能体的评测会从主观打分与客观打分两个维度进行评测 1.客观评测需要根据领域准备具体的专业评测数据集。 2.主观评测一般是采用专家打分、真实用户反馈等。 3.8技术挑战 1.意图识别:如何准确理解用户意图，并匹配到对应的Agent 2.Agent-Linking:多Agent如何提供一个统一入口，回答多个领域专业问题的同时，还可以自由对话。 3.召回准确率:如何准备高质量的问答与知识库，结合多种RAG检索技术，准确召回相关内容。 4.多轮对话进行参数补充:比如意图识别中，用户单次的对话无法满足场景的参数要求，需要智能体反问用户达到槽位填充的目的。 5.角色认定与永久记忆:在实际应用中，真正能够长期有用的智能体需要有明确的角色认定，并且对于历史的对话记录行程长久的记忆，这样才能越来越符合人类交互的范式，形成长期服务与陪伴。 04| 未来思考 DB-GPT接下来的一些发展计划 4.1DB-GPT存在的问题 1.开发门槛高：框架本身很全面、强大。但上手开发难度大。 2.默认场景效果待提升:虽然提供了六大默认场景，但因为定位是框架，所以针对具体场景的优化不够深入。 3.与Dify、Coze等产品相比，产品化能力不足。 4.文档、教程、案例较少。 4.2版本计划 DB-GPT长期会深耕数据领域，目前我们看到社区的主要矛盾是更加便捷的开发使用，应用到生产环境。所以在接下来V0.6.0的版本中，我们会重点发力端到端的产品化能力，主要有以下能力。 1.更强的产品化能力，更加简单易用，包括应用管理、AWEL开发、Agent开发、Prompt调优等。 2.提供意图识别、Text2NLU、Text2GQL等效果微调。 3.提供3+以上通用标杆应用场景智能体的构建教程并内置智能体，如财报助手、数据库专家、混合检索专家。 4.更完善的文档与教程。 5.智能体应用一键集成发布到平台Copilot、钉钉、飞书、微信等平台。 社区微信 开源地址:https://github.com/eosphoros-ai 29 个人微信 30 Thankyou!
