蚂蚁-刘志伟-检索增强在大模型落地中的实践应用

大模型效果提升-检索增强 刘志伟（比奥） 蚂蚁集团，研发效能搜索与推荐团队负责人 www.top100summit.com 讲师简介 “ 刘志伟（比奥），蚂蚁集团，研发效能搜索与推荐团队负责人，负责： •企业内部搜索和推荐 •智能客服 •分布式链路追踪 •大模型应用等相关领域和技术 ” www.top100summit.com 目录 •解决的问题 •行业实践 •我们的实践、业务效果 •未来展望 www.top100summit.com 企业内部知识搜索的重要性 www.top100summit.com 背景-企业内部知识可以应用大模型case分析 •文档-资料学习 •我是个新同学，希望对历史的信息了解的不全面，想要对历史的信息做追溯和了解，通过搜索过滤 •交接新的平台或业务，了解过去的需求背景及实现细节等 •文档-寻找问题排查方案 •找一些研发文档、技术手册，当开发的任务有运行问题时，为了解决这些问题就会去找文档 •…… www.top100summit.com 背景-企业内部知识可以应用大模型case分析 •代码-不知道怎么用（找不到参考代码） •某个中台接口，38个入参、37个出参，20个错误码。支持上万的业务场景，每个业务场景该传什么参数 •代码-影响太多，不敢改代码 •支付流水号扩位（16位改32位），人工批量检查大规模代码 •代码-代码定位难 •日志报错在哪打的，谁改了这段代码 •…… 背景-企业内部知识可以应用大模型case分析 •联调不通：机器问题、应用问题、消息队列问题、网络问题等 •支付失败：哪个服务有问题 “ •线上告警 www.top100summit.com ” •服务耗时高 •服务上下游都被谁调用 •…… •流水线部署失败，阻塞迭代的推进，这个有什么办法吗？是否可以跳…… •Dev环境网关超时，走不到应用机器 •DTM：deniedbystsorram,action:log:CreateConsumerGroup 有做限流 •因公付在外部费控场景下，由于需要调用外部应用，支付决策会对此类情况调长咨询超时时间，想问下，对于此种情况的咨询量是否 问题与挑战 www.top100summit.com 但搜索还有未被很好解决的痛点：知识获取成本依然高 •分散在多个平台 多个常用的平台挨个尝试 •相关性的结果，多个搜索结果自己总结答案 举例：在已有代码上找到API几种典型的用法并参考。然而通过相关性找到的搜索结果往往成千上万 大模型是解决这些问题很好的技术方案 截图：https://github.com/search?q=fastjson+toJSONString&type=code www.top100summit.com 大模型如何具备知识 www.top100summit.com 大模型如何具备知识 www.top100summit.com 大模型在知识方面存在的问题 www.top100summit.com 大模型在知识方面存在的问题 www.top100summit.com 大模型在知识方面存在的问题 www.top100summit.com 行业产品：NewBing www.top100summit.com 行业产品：ChatGPT www.top100summit.com 行业技术：LangChain www.top100summit.com 行业技术：LangChain www.top100summit.com 行业技术：Self-RAG www.top100summit.com 行业技术：CON www.top100summit.com 行业技术：COK www.top100summit.com 解决方案-整体架构 www.top100summit.com 关键点-知识库的分层构建 www.top100summit.com 关键点-复杂文档的处理 www.top100summit.com 关键点-知识点提取 www.top100summit.com 关键点-混合搜索 www.top100summit.com 关键点-总结模型 www.top100summit.com 关键点-总结模型 www.top100summit.com 解决方案-内部产品实践 www.top100summit.com 未来展望-大模型如何具备知识 微信官方公众号：壹佰案例关注查看更多年度实践案例