张颖峰-RAG 2.0 引擎的设计挑战和实现

01 RAG 1.0的痛点和解决方向

• RAG架构模式及其面临的挑战：
  • 向量召回无法满足要求
  • 文档结构复杂，数据混乱（Garbage In, Garbage Out）
  • 问题与答案文档关联弱，难以通过问题定位正确文档
• 下一代RAG架构InfiniFlow：
  • Infinity + RAGFlow = InfiniFlow

02 如何有效Chunking

• 概要：调整抽取模型的RAGFlow对比
• 表格识别模型：
  • 单元格边界判定、表头信息判定、单元格合并判定、表格跨页判定
• 文档“大”模型

03 如何准确召回

• Indexing Database：
  • RAG数据库选型对比
  • 几路召回？
• 排序模型：
  • ColBERT的收益：超过BGE 110Mn每个Token 96维，Binary量化后每个Token 12 byte
  • ColBERT ranker还是reranker？
• 延迟交互是RAG的未来：
  • answerai-colbert-small-v1基于JaColBERT 33M参数

04 高级RAG和预处理

• 复杂问答之文档预处理——RAPTOR
• 复杂问答之知识图谱

05 RAG未来如何发展

• 多模态RAG—“雕花”还是？
• 多模态RAG与延迟交互模型
• 记忆增强的Agent：
  • 角色扮演和社交模拟记忆
  • 个人助理记忆保存多次交互中的事实信息及用户个人风格
  • 游戏记忆获得的技能、行为轨迹
  • 推荐系统记忆保存用户行为、历史对话
  • 领域应用：医疗/金融/法律记忆案例、知识、市场信息等辅助决策