DB-GPT在京东零售大数据平台的落地实践

大模型给大数据领域带来的变革

从传统数据应用走向智能数据应用，大模型为大数据领域带来了显著的提升。传统的数据应用主要依赖手动编写复杂的SQL查询和数据处理逻辑，而智能数据应用则利用大模型自动完成这些任务，极大地提高了效率和准确性。

京东零售大数据平台面临的挑战

京东零售大数据平台面临的主要挑战包括：

• 数据复杂性：数据量庞大且来源多样。
• 数据处理效率：需要高效地处理海量数据。
• 数据一致性：确保数据的一致性和准确性。

智能数据开发案例

表基础信息召回

• 朴素召回：仅处理1万张高频表，命中率为0.16。
• 元数据索引：命中率为0.31。
• 元数据索引+重排优化：命中率为0.51。

通过预处理构建索引，如业务域、业务主题和业务架构，显著提高了召回率。

表字段信息召回

• 总体情况：与表基础信息召回类似，将字段信息拆分为chunk，通过索引+重排优化检索。
• 具体细节：
  • chunk大小：一般不超过embedding模型上下文长度。
  • 打标：附加表名、总长度和业务信息等。
  • 字段使用频率排序：解析加工任务SQL，提取字段热度，命中率为0.72。

生产部署实践

DB-GPT基础设施

• 基础设施：数据库（MySQL）作为模型元数据注册中心。
• 模型控制器/API服务器：各部署3个节点。
• Web服务器：独立部署，至少3节点。
• 内部工具基础设施：多节点部署，至少3节点。
• Kubernetes部署：基于Kubernetes进行集群部署。
• 分布式可观测能力：基于OTLP + Jaeger实现。

生产部署架构

• 分层建设：基础设施层、内部公共业务层、产品对接层。
• 集群部署：详细配置了各个组件的部署节点数和角色。

总结

• 智能体工作流（Agentic Workflow）：是落地的最佳助手，能够将不确定的结果流程化、确定化，复杂问题分而治之，并通过工具化/算子化抽象来提高工作效率。
• Data + AI方向：
  • 数据开发/运维/治理的智能化：通过自动化工具提高数据处理效率。
  • 数据挖掘、洞察智能化：利用AI技术进行深入的数据分析。
  • 数据种类多样化：实现对语音/视频等非结构化数据的理解和管理。

感谢您的阅读！