大模型金融支付类企业ToC应用探索与落地

平安壹钱包—王良 到2026年，接⼊⽣成式AI或⼤模型的企业 前期调研 确定未来 AI⼤模型未来的前景是明确的AI必然会重构世界 确定现在 要想不掉队就必须现在进⼊ 不确定落地 选择什么场景？解决什么需求？降本增效还是扩⼤收益？⽤什么技术？开源闭源？ 找落地场景 找落地场景的思路 制定落地⽅案 认知要⾼，认知不⾼就⽆法做出最优决策，天花板太低 理解⼤模型原理,不懂原理就不会举⼀反三，⾛不了太远 ⼀定要有实践经验，没有 实 践 就 只 能 纸 上 谈兵，做事不落地 认知要⾼，认知不⾼就⽆法做出最优决策，天花板太低 理解⼤模型原理,不懂原理就不会举⼀反三，⾛不了太远 ⼀定要有实践经验，没有 实 践 就 只 能 纸 上 谈兵，做事不落地 选择模型 在线⼤模型 开源⼤模型 私有化部署 API调⽤ 在线模型普遍性能更强，调⽤时技术⻔槛和硬件⻔槛更低，配套模型⽣态和服务更加完善，不需要维护 模型⽂件、项⽬⽂件、还有模型权重、等等在本地部署，因此可以更好的确保数据安全性 合规要求 《⽣成式⼈⼯智能服务安全基本要求》 《⽣成式⼈⼯智能服务管理暂⾏办法》 《⽣成式⼈⼯智能服务管理暂⾏办法》 已经2023年5⽉23⽇国家互联⽹信息办公室2023年第12次室务会会议审议通过，并经国家发展和改⾰委员会、教育部、科学技术部.⼯业和信息化部、公安部、国家⼴播电视总局同意，⾃2023年8⽉15⽇起施⾏ 提供者在向相关主管部⻔提出⽣成式⼈⼯智能服务上线的备案申请前应按照本⽂件中各项要求逐条进⾏安全性评估，并将评估结果以及证明材料在备案时提交 明确，提供者违反本办法规定的,由有关主管部⻔依照《中华⼈⺠共和国⽹络安全法》、《中华⼈⺠共和国数据安全法》、《中华⼈⺠共和国个⼈信息保护法》、《中华⼈⺠共和国科学技术进步法》等法律⾏政法规的规定予以处罚;法律、⾏政法规没有规定的,由有关主管部⻔依据职责予以警告、通报批评,责令限期改正;拒不改正或者情节严重的,责令暂停提供相关服务。构成违反治安管理⾏为的,依法给予治安管理处罚;构成犯罪的,依法追究刑事责任 报备经验分享 评估结论为不符合的 评估结论为符合的 评估 结论为不适⽤的 应说明不符合的原因，采⽤其他技术或管理措施能达到同样安全效果的，应详细说明并提供措施有效性的证明 应具有充分的证明材料 应说明不适⽤理由 落地场景介绍 什么是向量化 将⽂本转化为固定⻓度的稠密向量，实现⽂本在向量空司的映射 Embedding的本质是⽤⼀串数字代表⽂本，从⽽让计算机认识⽂本 Embedding在⽤户意图认\别以及私有知识库搭建⽅⾯发挥着⾄关重要的作⽤ 独热编码（One-hot Encoding） 这是⼀种将每个词表示为唯⼀的向量的⽅法。向量的维度等于⽂本中不同词的数量，对于给定的词，它在向量中的值为1，其余位置均为0。这种表示⽅法简单直观，但⽆法表示词与词之间的语义关系。 词嵌⼊模型（Word Embedding） Word2Vec和GloVe等，它们利⽤深度学习⽅法，通过训练⼤规模语料库学习词的向量表示。这些模型能够捕捉词的语义和语法信息，使得语义上相似的词在向量空间中的位置相近 句⼦向量化 是将整个句⼦转换为⼀个数值向量的过程，以便计算机和机器学习模型能够理解和处理句⼦级别的⽂本信息 ⽂档向量化 为什么⽤RAG RAG能提供什么 ⼤模型的局限 真实信息 模型训练数据cut-off 私有数据、保密数据、新数据更新 私有信息 及时与动态信息 可解释性、幻觉问题 Fine-tuning（微调）和RAG 投产⽐不⾼ 可控 改变模型权重 不改变模型的权重 技术实⼒不⾜会有副作⽤ 技术难度⼩ RAG落地过程中需要关注的事项 01:数据源加载与处理 复杂数据结构 数据源多样 解析问题 1.扫描⽂件2.动态⽹⻚3.数据同步 1.标题2.列表3.表格4.⻚眉5.⻚脚6.阅读顺序7.图表 1.txt2.chm3.csv4.markdown5.⽹⻚6.PDF7.excel8.Doc 02:数据切分难 indexing Time Retrival Time Generation Time •embedding输⼊⻓度限制•影响embedding效果 •⽆法定位到关键区域 •context_size有限 chunk_size⼤⼩选择? •TextSplitter试验•Chunking解耦:IndexingTime和Generation Time 常⻅五种技术的实现⽅式 03:检索效果 •语义相似度问题•切分问题•元数据检索 •邮件、聊天记录等•使⽤摘要•相关性过滤 ⽆法检索到有⽤的信息 包含⽆效信息 04:检索结果过多或过⻓ 04.答案合成阶段 03.后处理阶段 02.检索阶段 01.切分阶段 •关键字过滤•相关性过滤•业务逻辑过滤•不相关句⼦移除•重排 •⽣成元数据过滤•⽣成top_k •更⼩的chunk_size•按sentence切分•提取原chunk摘要 •Compact/stuff•lterative Refine•单独回答+总结•对chunk做摘要•⾃定义合成策略 05:可解释性与鲁棒性 06:复杂query 简单query 复杂query •对⽐19~23年东⽅航空财报税前利润总额对⽐•今年东航、南航的营收情况对⽐•李⽩在当官之前、和之后的⼼态变化 •去年东⽅航空财报基本情况?•李⽩的主要经历? 07:⾃动化 Agent 08:反馈、评估与迭代 反馈 迭代 •整理数据•尝试Fine-tuning •IR评估•端到端评估 •收集反馈数据•tracing. RAG feedback 收集多维度反馈 引⽤质量引⽤不完全引⽤了不想关的⽂档 问题⽣成质量diversity 检索质量IR metrics 回答质量e2e metrics 上⼿实践 •RAG是⼀个复杂的系统，使⽤low-levelAPI拆解成⼩的步骤•给LLM写prompt，帮助我们解决各步骤中的问题•让LLM⽣成数据来帮助我们训练或评估•让LLM来做规划•使⽤⾃⼰熟悉的数据跑通RAG流程•评估真实场景下的表现•从数据源加载、索引构建、检索、答案合成等分步骤进⾏case study 标注平台 Function calling & Agent 基础类Al Agent项⽬ Function calling +邮箱API Function calling + OpenWeather 智能查询天⽓信息应⽤ 智能收发邮件应⽤ 进阶类Al Agent项⽬ Function calling +搜索API+爬⾍ Function calling + pymysql + MySQL 智能搜索问答机器⼈ 定制化SQL代码解释器 Function calling + Python +算法库 Function calling + Python 机器学习&深度学习Agent 代码解释器 ⼤模型浪潮下的未来趋势 将每个⾏业最顶尖的能⼒赋予给每个普通个体 脱 离“信 息 茧房”给 出 客 观全⾯的建议 每个⾏业都值得⽤⼤模型重做⼀遍 “⼩ ⽽ 美”创 业团队的重⼤机遇 程序员之间的差距会缩⼩，程序员和⾮程序员的差距会拉⼤ ⼤模型应⽤架构师的职责是什么 Thanks