阿里云AI搜索RAG大模型优化实践

欧明栋阿⾥云AI搜索RAG⼤模型算法负责⼈ RAG背景01 ⼤模型知识问答 RAG架构 RAG效果关键点 RAG模块架构：阿⾥云AI搜索开发平台 ⽂档结构化02 ⽂档切⽚问题 PDF、纯⽂本等⽂件类型⽆法直接解析语义层级，导致切⽚语义不完整 回答不完整 ⼤模型幻觉补全 切⽚截断 上下⽂ 上下⽂ [⽂档1]修改云盘的UUID步骤如下：1.远程连接ECS实例。根据已知信息回答问题，确保只使⽤已知信息中的内容回答问题，问题：'''如何修改云盘的UUID''' [⽂档1]修改云盘的UUID步骤如下，根据已知信息回答问题，确保只使⽤已知信息中的内容回答问题，问题：'''如何修改云盘的UUID''' 回答 回答 要修改云盘的UUID，请按照以下步骤操作： 要修改云盘的UUID，请按照以下步骤操作： 1.登录到云盘服务的管理控制台。 ⽂档切⽚-语义层级抽取模型 保证切⽚语义完整 实现基于语义层级的内容摘要，回答全局（超⻓上下⽂）问题 语义层级抽取模型-数据增强 纯⽂本构造 层级合并 不同层级标题合并到相同层级 删除所有格式信息，转为纯⽂本 语义层级抽取模型-模型训练 SFT StepDPO 基于qwen2-1.5B，约5万训练样本 基于SFT模型预测错误样本构造，只优化第⼀个出错的层级 Input Input Output {"h1":"Opensearch产品架构","substructure":[{"h2":"搜索开发⼯作台" 03⼤模型微调&Agent探索 ⼤模型⽣成问题 不完整 幻觉 RAG实际应⽤中模型幻觉率仍偏⾼，幻觉率：GPT4 ~7%，14B及以下模型普遍20+% 复杂答案中容易遗漏部分内容 上下⽂ 上下⽂ …RDSPostgreSQL实例创建数据库…创建RDS MySQL实例、数据库和账号…快速创建RDS SQL Server实例根据已知信息回答问题，确保只使⽤已知信息中的内容回答问题，问题：'''rds创建数据库⽅法''' AnalyticDBMySQL版有多种删除数据的⽅式，建议如下： *数据删除频率低、基于主键为条件的删除，可通过DELETE删除数据。*数据删除频率低、基于任意条件的删除，可通过DELETE删除数据。*通过TRUNCATE TABLE删除指定⼆级分区。根据已知信息回答问题，确保只使⽤已知信息中的内容回答问题，问题：'''analyticdb mysql怎么清除过期的⼆级分区''' 回答(from GPT4) 回答(from GPT4) AnalyticDBMySQL版清除过期的⼆级分区可以通过以下⽅式进⾏： 创建云数据库RDS的数据库⽅法分为RDS PostgreSQL数据库和RDSMySQL数据库两种情况： 缺少RDS SQL Server 幻觉 效果评测 Model-as-Judge 评测指标（类似RAGAS） •幻觉•编造：基于检索结果-回答，回答中是否存在检索结果之外的信息•混淆：基于检索结果-问题-回答，回答中是否使⽤了检索结果中与问题⽆关的信息回答问题•完整性：基于检索结果-问题-回答，回答中是否遗漏检索结果中的关键信息•相关性：基于问题-回答，回答中是否存在于不回答问题的表述 ⼤模型微调 模型效果 •基于Qwen1.5-14B微调后，14B模型基本达到了72B模型效果，且幻觉率更优•实际业务场景⽐公开数据集更复杂，微调模型在复杂场景中表现更突出 RAG场景中的复杂问题 •复杂问题需要通过多步推理和多轮搜索才能最终解答，导致传统RAG系统⽆法处理复杂问题。 问题：黎曼的⽣肖是什么？ 问题：⻄班⽛获得欧洲杯次数最多球员是谁？ 上下⽂ 上下⽂ 伯恩哈德·黎曼（德国数学家）_百度百科…最具独创精神的数学家…⻄班⽛历史性第四次夺得欧洲杯冠军，创下最多夺冠次数纪录！… ⻄班⽛国家男⼦⾜球队_百度百科…⻄班⽛2⽐1击败英格兰第四次捧起奖杯…⻄班⽛历史性第四次夺得欧洲杯冠军，创下最多夺冠次数纪录！… 回答 回答 抱歉⽆法回答该问题。 ⽆法回答该问题。已知⻄班⽛国家队获得过1964年、2008年、2012年、2024年欧洲杯冠军，但⽆法判断哪位球员获得的冠军数最多。 Agentic RAG 问题：⻄班⽛获得欧洲杯次数最多球员是谁？ 总结：黎曼出⽣于1826年规划：1826年对应的⽣肖未知搜索：1826年对应的⽣肖 总结：⻄班⽛获得1964、2008、2012、2024欧洲杯冠军规划：缺少1964、2008、2012、2024⻄班⽛欧洲杯参赛名单搜索：1964欧洲杯⻄班⽛参赛名单、2008欧洲杯⻄班⽛参赛名单… 总结：伊涅斯塔、哈维、卡⻄利亚斯…获得了2008、2012欧洲杯冠军，是⻄班⽛获得欧洲杯最多的球员 总结：黎曼出⽣于1826年，⽣肖是狗。 Agent效果&挑战 挑战 效果 •先搜索再由Planner Agent推理调度，可显著减少推理步数•仍有近30%的复杂问题⽆法解答 •时延⾼ •成本⾼•多步推理和搜索积累数据，每步的token数显著增加，成本线性上升 •推理⽅向不准确•模型多步推理误差累积，导致拒答、幻觉，推理步数越多拒答率、幻觉率越⾼ 04RAG 应⽤实践 RAG典型场景 企业知识库 内容场景 教育搜题 电商场景 •⽤户选品、直播答疑•商品售前咨询，售后服务•提升购物互动体验、销量转化 •IT、⽂娱等个性化信息检索•提升检索效率、⽤户粘性、活跃度、业务转化 •搜题⽣成答案，知识总结•提升学习效率，⽤户粘性、活跃度、业务转化 •企业内部资料•产品⽂档、技术资料等•提升企业信息检索效率 RAG客户场景-基于阿⾥云AI搜索开发平台 RAG客户场景-离线⽂档结构化 PDF MarkDown 结构化语义 RAG客户场景-离线切⽚&索引 混合索引 切⽚⽂本 MarkDown https://opensearch.console.aliyun.com/cn-shanghai/rag/server-market RAG客户场景-在线Agent 问题：如何搭配⻝物才能满⾜⾼温作业的需求？ 还缺少富含钾、维⽣素C和B族维⽣素的蔬菜⽔果具体名单 ⼦问题：哪些蔬菜和⽔果富含钾、维⽣素C和B族维⽣素？ RAG客户场景-在线Agent ⼦问题：哪些蔬菜和⽔果富含钾、维⽣素C和B族维⽣素？ THANKS 智能未来，探索 AI ⽆限可能Intelligent Future, Exploring theBoundless Possibilities of AI