下一代RAG引擎的技术挑战与实现
下一代RAG引擎 ——技术挑战与实现 演讲人：张颖峰 目录 01 下一代RAG引擎 02 数据抽取模型 03 混合搜索 04 高级RAG 下0一代RAG引擎 RAG架构模式 ExtractionIndexingRetrievalGeneration Chunking Embeddingmodel Embeddings Question Recommender Chunks Embeddings VectorDB Embeddingmodel Answer Relevantchunks prompts [[]] Search ConversationalAI 当前RAG面临的挑战 挑战一：向量的召回无法满足要求 挑战二：文档结构复杂，数据太乱，GarbageIn,GarbageOut 挑战三：问题和答案所在文档关联不大，很难通过问题找到正确文档 下一代RAG架构 GarbageIn,GarbageOut 问题和答案之间存在语义鸿沟 切块数据抽取模型 文档布局模型 表格布局模型切块 知识图谱构建 问题Embedding模型 查询改写模型 关键词向量 稀疏向量 切块切块 全文索引向量索引 稀疏向量索引图索引 Embedding模型 TensorReranker AINativeDatabase offlineonline LLM 答案和引用生成 向量召回无法满足要求 Infinity+RAGFlow=Infiniflow FusedRanking Infinity RAGFlow Documentsemanticpre-processing … Documentparsing RetrievalAugmentation Knowledgegraphconstructionmodel Tablestructurerecognitionmodel Rerankingmodel Queryrewritingmodel DocumentClustering Documentstructurerecognitionmodel ExtractionIndexingRetrievalGeneration DenseVectorFullTextSparseVectorTensor Graphembedding Graphquery Structureddataquery 数0据2抽取模型 Documents N 扫描？ Y OCR 文字换行检测 Chunking结果 标题补全 图片截取 流程图、饼图、柱状图 多模态模型 Chunking 文档结构识别模型 表格 图片 段落 页眉页脚 表格结构识别模型 Chunking结果 概要 调整抽取模型的RAGFlow对比 0.97 完全准确率 部分准确率 0.8 0.65 0.5 0.15 0.35 0.65 0.85 Accuracy 1.0 0.5 0.0 RAGFlowPro RAGFlow CommercialRAGproduct OpensourcenaiveRAG 表格识别模型 单元格边界判定 表头信息判定 单元格合并判定 表格跨页判定 表格识别模型 Image CNNEncoder CodeBook CNNDecoder VAE Encoder <Table> <tr> <td></td> </tr> TransformerEncoder Decoder TransformerDecoder </Table> 文档“大”模型 表格 流程图 饼图 TransformerEncoder TransformerDecoder HTML 柱状图 VisionEncoder TextDecoder … “雕花”还是多模态LLM？ 各类图表 ObjectDetection Text 各类图表 VisionEncoder TextDecoder Text 各类图表 MultimodalEncoder TextDecoder SemanticText 混0合3搜索 IndexingDatabase DenseVector SparseVectorTensor 融合排序 FullTextSearch 多路召回 结构化数据查询 ColumnarStore Numeric/String DenseVector SparseVector Tensor Text SecondaryIndex VectorIndex SparseVectorIndex TensorIndex FulltextIndex Benchmark Efficiency RAG数据库选型对比 VectorDatabases 全文搜索+向量 TraditionalDatabases Effect 几路召回？ MLDRlong-documentretrievalbenchmark(English) 74.54 63.33 61.64 59.86 63.52 49.05 67.51 66.72 80 nDCG@10 60 40 BM25 DenseSparse Dense +Sparse BM25 +Dense BM25 +Sparse BM25 +Dense BM25+Dense +Sparse EmbeddingModel:BGE-M3 +RRF +RRF +RRF +Sparse +RRF +ColBERT Reranker Transformer Query Transformer DocumentPassage Embedding Embedding Embedding Embedding Embedding Embedding Embedding Embedding Embedding Embedding Embedding Embedding Embedding Embedding Embedding Embedding Embedding Embedding Embedding OfflineIndexing 排序模型 DualEncoderCrossEncoderLateInteractionEncoder Pooling Pooling Similarity Transformer Query DocumentPassage ∑ Score MaxSim MaxSim MaxSim Transformer Transformer Query DocumentPassage Embedding Embedding Score MLP Efficiency ColBERT的收益 CrossEncoder LateInteraction KeywordSearch DenseEncoder Effect ColBERT的收益 MLDRlong-documentretrievalbenchmark(English) 73.35 73.35 74.54 73.45 49.05 59.86 61.64 65.63 66.72 63.52 72.82 63.33 nDCG@10 80 60 40 BM25 BM25 Dense Dense Sparse Sparse Dense Dense BM25 BM25 BM25 BM25 +ColBERT +ColBERT +ColBERT+Sparse +Sparse +Dense +Dense +Dense +Dense EmbeddingModel:BGE-M3 +RRF +ColBERT +RRF +ColBERT+Sparse +RRF +Sparse +ColBERT ColBERTranker还是reranker？ MLDRlong-documentretrievalbenchmark(English) 72.23 73.35 74.11 80 nDCG@10 60 40 ColBERT EMVBIndex BM25 +ColBERT Reranker ColBERT Bruteforce EmbeddingModel:BGE-M3 延迟交互是RAG的未来 78 72.8 MIRACL 80 nDCG@10 60 40 Bge-m3JaColBERT JaColBERT 延迟交互是RAG的未来 answerai-colbert-small-v1基于JaColBERT33M参数 超过BGE110M 每个Token96维 Binary量化后每个Token12byte 延迟交互是RAG的未来 81.3 58.8 AVG nDCG@5 80 60 Query：Whichhourofthedayhadthehighestoverallelectricitygenerationin2019? 40 ColPali BiPaliColPali 高0级4RAG AgenticRAG——复杂问答 查询 重写 开始意图检索打分 生成微信 AgenticRAG 反思——自我纠错和迭代 查询意图识别 工具——workflow 知识图谱 查询改写 规划——workflow 多Agent协作 文档解析算法文档聚类和摘要RAPTOR … AgenticRAG——复杂问答 Yes Answerquestion? No Answer Yes Generation Router1 RetrievalGrade Relevant? No QueryRewrite Query QueryIntent Router2 WebSearch Othersrouters AskLLM 知识图谱 Entity Passage Entity Passage Triplex Entity Query … … … … … DataEntitiesGraphConstructionandAugmentation Passage Entity PPR Passage Entity Entity 知识图谱 Triplex Entity Entity Entity Summary Entity Entity Summary … … … … DataEntitiesGraphConstructionandAugmentationCommunity Passage Passage Entity 用QA来改进GNN PageRank(Node2vec) GNN Query Embedding 下一代RAG平台 电商 猎头 人力 员工支持 AI搜索客服 RAG2.0Platform 质量控制 制造 运营提效 文档助手 合规 合规校验 Agent引擎 AINativeDatabase 客户服务 财务 决策支持 文档理解KG构建多模态Embedding 个性化服务 汽车 工作流支持 <3B 客户服务 IT 审计自动化 医疗客户服务个性化服务 THANKS 智能未来，探索AI无限可能 IntelligentFuture,Exploringthe BoundlessPossibilitiesofAI https://github.com/infiniflow/ragflow https://github.com/infiniflow/infinity
