腾讯 ima 基于 ES 的 AI 知识库技术架构实践

AI 知识库底层架构构建腾讯ima基于ES 的技术实践

概述

• AI 知识库定义：AI 知识库结合大模型和 RAG 检索技术，用户可通过自然语言提问，系统从文档中召回相关片段并生成答案，替代传统人工翻找方式。
• 传统知识库 vs AI 知识库：传统知识库依赖关键词匹配和结构化文档，检索方式为关键词匹配；AI 知识库采用语义向量检索和自动向量化文档，支持自然语言问答。
• KInfra 与 ES 使用场景：一个 Elasticsearch 引擎承载三种检索能力：
  • RAG 检索：结合用户提问向量和文本，通过两路召回（Text BM25 + Vector KNN）和 RRF 融合排序，送入大模型生成回答。
  • 文档搜索：面向传统关键词检索，通过标题、标签等元数据全文检索，支持拼音+ ngram 模糊匹配。
  • RAG 文本检索：向量检索内容，独立于 RAG 链路。
• 整体架构：分为 L1 应用层（入库层/检索层）、L3 存储层，支持并行服务上层应用。
  • 入库层：文档处理与向量化流水线，解析文档（PDF/Word/HTML）→ 智能分块 → Embedding 向量化 → 写入存储。
  • 检索层：双路召回（Text BM25 + Vector KNN）与混合融合，通过 RRF 融合排序送入大模型。
  • 存储层：Elasticsearch 统一存储文档原文/元数据和向量，底层由 ES 支撑一套引擎承载三种检索。

为什么选 Elasticsearch

• 选型优势：
  • 一套引擎承载多种检索：向量检索+全文检索+混合检索，无需外挂依赖。
  • 原生向量能力：支持 dense_vector 和 HNSW/BBQ，无需外挂向量库。
  • 原生混合检索：RRF Retriever 开箱即用，内部融合排序。
  • 灵活中文支持：自定义 analyzer + multi-field，一字段多索引。
  • 大规模友好：多集群/索引/分片，横向纵向弹性扩展。
  • 腾讯云 ES 团队支持：版本演进、内核优化、问题排查有保障。
  • 成熟稳定生态：完善运维成熟，社区活跃。
• 核心价值：Elasticsearch 是 AI 知识库的最佳底座，一套引擎同时承载向量检索+全文检索+混合检索能力。

知识库文档检索

• 拼音搜索：支持全拼和首字母缩写，通过自定义 analyzer 将中文转拼音。
• 模糊搜索：ngram 分析器支持单字匹配，适合搜索补全和模糊召回。
• 多字段映射：同一字段映射多种类型（keyword、text、pinyin、ngram），一次写入多种检索方式并行可用。
• 高亮：对匹配关键词高亮，提升前端展示体验。

知识库 RAG 检索

• RAG 检索流程：
  • 用户 Query 改写和多 query 扩展。
  • 两路召回：Text BM25 + Vector KNN。
  • RRF 融合排序，取 Top 片段送入大模型生成回答。
• 向量召回：
  • dense_vector + BBQ 量化：
    • BBQ 量化+ HNSW 图：量化压缩向量占用内存，保持召回率，适用于内存优先、低延迟场景。
    • BBQ 量化+ BBQ_disk：向量量化后落盘存储，跳出内存约束，支撑更大规模向量，适用于规模优先场景。
  • KNN with filter：向量检索时直接叠加过滤条件，无需先全量召回再过滤，提升效率和精度。

挑战与思考

• 千亿数据挑战：
  • 多租户场景特征：数据严格隔离，检索在指定租户/知识库子数据集内完成。
  • 数据分布：数据总量大、租户极多，多数租户数据量小，少数极端用户可达上千万。
  • QPS 特征：总 QPS 高，租户多，单租户 QPS 不高且反复激活。
• 三大挑战：
  • 数据膨胀：多集群多索引路由。
  • 内存与存储压力：BBQ 量化+行存裁剪。
  • 查询扇出与分片热点：自定义路由+ routing_partition_size。
• 解决方案：
  • 横向扩展：多集群+多索引路由，按 tenant_id 分段归属，突破单集群上限。
  • 纵向扩展：索引 alias + rollover，滚动生成新索引，承载更大单库数据量。
  • 向量检索优化：
    • BBQ 量化+ HNSW 图：以量化换内存效率，适用于低延迟场景。
    • BBQ_disk：以磁盘实现规模突破，适用于规模优先场景。
  • 租户分片路由与隔离检索：
    • 自定义路由：按知识库 ID 路由到目标 shard，减少查询扇出。
    • routing_partition_size：同知识库 ID 分散多 shard，均衡负载、消除热点。
    • BBQ_disk Slice：按 tenant_id shard 内细分，实现租户级隔离检索，提升效率。