RAG架构的意义及痛点
DeepSeek-R1的开源推动LLM大模型发展由基础设施转向模型应用,但大模型仍面临模型“幻觉”、过时信息以及专业知识匮乏三个困境。RAG架构通过搭建存储知识信息的数据库,补充大语言模型的文本生成与逻辑思考过程,解决上述问题。
RAG架构的痛点
RAG架构在文档解析入库和信息检索输出流程中存在多个痛点问题,包括文本识别与分块、信息进一步处理、Embedding模型选择、内容检索、重排序模型选型以及Prompt处理等。
RAGFlow开源解决方案
RAGFlow追求“Quality in, Quality out”的高质量要求,解决RAG架构中的痛点问题。其使用DeepDoc组件进行复杂文档解析与分块,引入Raptor召回增强策略和知识图谱策略进行进一步处理,并提供丰富的Embedding模型选型。在信息检索输出流程中,RAGFlow采用混合搜索策略,使用关键词相似度和Rerank模型加权的方式进行重排序,并使用合适的Prompt将知识信息传递给大模型。
RAGFlow解决方案的细节
RAGFlow使用DeepDoc组件进行文档解析与分块,针对不同文档类型设计不同的分块策略。RAGFlow支持结构化数据解析,将表格的每一行作为独立文本块处理,以列名对应单元格值的方式进行组织。RAGFlow引入Raptor策略和知识图谱策略进行信息进一步处理,提升检索质量。RAGFlow提供丰富的Embedding模型和Reranker模型接口,支持双路召回和文档重排序。
RAGFlow效果评估与检验
基于RAGAs评估框架,使用15篇金融领域研究报告作为评估样本,评估RAGFlow的效果。评估结果表明,RAGFlow优于Dify的检索输出效果。最终得到较优的RAGFlow全流程配置方案:Embedding模型选择SFR-Embedding-Mistral、Reranker模型选择bce-reranker-base_v1;解析入库时使用General方法,设置最大token数为512或1024,选择开启社区摘要的知识图谱功能;检索输出时,开启多轮优化,不开启知识推理功能。
RAGFlow金融投研应用
RAGFlow具有文本类信息知识库检索、结构化数据知识库检索、混合类型知识库检索、自定义Agent工作流等多种能力,在金融领域具有广泛的应用前景。例如,RAGFlow可以实现知识库增强的Text to SQL功能,以及自动化完成简单报告等。
风险提示
RAGFlow的分析基于v0.17.2版本进行,未来更新可能导致项目细节发生变换。评估基于小样本集,更换测试样本、更换大语言模型可能导出RAGFlow的具体表现与本文结果存在出入。RAG架构不能完全消除大模型“幻觉”等弊端,使用RAGFlow得到的输出结果存在随机性和准确性风险,使用时应加以辨别。