基于知识助手的金融大模型应用实践

基于知识引擎的⾦融 ⼤模型应⽤实践 曹阳/中关村科⾦资深AI产品总监 中关村科金资深AI产品总监，拥 有超过10年的ToB产品经验，曾任职于阿里、京东、字节跳动、shopee等公司，主导多个智能客服产品，对NLP、智能客服、CRM相关的技术、产品应 曹阳用、商业化有着丰富经验。 基于知识引擎的⾦融⼤模型应⽤实践 •⼤模型在⾦融业务场景下应⽤的趋势和挑战 •⼤模型驱动知识应⽤新范式 •基于知识助⼿基座的⼤模型⾦融领域应⽤实践 GPT-4O等多模态模型效果值得期待 多模态大模型效果惊艳 营销、运营短视频生成，即将全行业落地 视频大模型超预期发展 私有化基座模型能力无瓶颈 开源大模型性能不断进化 大模型工具链已经成熟 大模型训练技术成熟 增效 私有化领域知识训练已经成熟 大模型厂商全面降价 大模型 性能不断进化 大模型响应速度、上下文长度不断提升 降低大模型技术门槛 多行业多场景最佳实践落地 基座模型获得成本降低 运行载体小型化 模型小型化技术进入成熟期 大量最佳实践，直接抄作业 端侧大模型发展迅猛 GPU需求越来越低 降本 大模型降本 大模型赋能金融业务，速度加快 大模型提效 2024⼤模型技术的发展态势 01 技术专利数量 02 技术发展时间 03 技术舆论指数 大模型技术成熟度（能力） 大模型应用成熟度（场景） 2024年⼤模型应⽤的发展阶段 客服 厂商服务成熟度 （从低至高） 营销 产品研发 智能办公 知识管理 基础作业 数据治理 客户需求期望 （左低右高） HR管理 信息安全 IT系统建设 财税管理 出海业务 供应链与生产 2023–>2024H1 行业大模型 AI智能体 大模型编排工具 文本生成图像 提示工程 大模型工程化 大模型对话机器人 2024年上半年，经过我们的大量实践与观察，发现大模型场景落地进入爆发阶段，相应工程化技术已进入“准成熟阶段” 相比2023年，客服、智能办公、知识管理领域，从客户需求与厂商服务成熟度方面来看，进步迅猛 ◎高效的价值传递效率 ◎合规安全的决策智能 ⾦融天然是数字，数字化场景需求显著 ⾦融⼤模型驱动的AIGC可⻅⼗年发展红利 未来3-5年 进入应用深化阶段 利 润 临界点 标准通用场景基本覆盖 高价值专业场景规模应用 当前阶段 相同任务AI模型训练成本 近五年下降200倍 2017-2025年 技术突破期 2025年-2030年 应用深化期 2030年-未来 大规模应用期 ◎个性化的服务和极致用户体验 对金融行业的影响和变革 ⼤模型在落地过程中的关键挑战 医疗 个人助理 政务 智能家电 应用 社交媒体 领域大模型 金融 Google 通用大模型 OpenAI Meta pytorch分布g计算 megtran tensorflow GPU v硬g件 TPU 光模块 大模型迭代速度快，需根据场景需求，兼容多个厂家/多个版本/多种参数规模的基础大模型。 根据不同场景需求，选择不同参数规模的模型，降低算力资源消耗，平衡响应时延，提升投入产出比。 灵活兼容 成本经济 领域大模型需具备工具操控能力，与其他能力组件、传统AI小模型形成能力互补、云边端有效分工体系。 最大程度避免幻觉问题，提升专业性。注入合法合规与安全隐私能力，遵守内外部规则制定，提升拒绝能力。 组合创新 安全可信 人机协作 新场景下冷启动阶段需以人机协同的方式保障准确度。使用过程中形成模型自迭代的反馈机制。 运维自主 领域微调将大幅提升基础大模型的特定场景准确度，数据是其中关键。大模型技术前置，企业可自主运维。 大算力：单位芯片计算能力提升5000倍 强算法：Transformer算法+无监督预训练 大数据：全网可用数据 ⼤模型是数字时代的智能基础设施，推动科技平权新范式 科技平权强调普适价值 大模型是人人皆可对话的AI,重塑新型人机生产关系，成为数字生产要素新范式和智能基础设施 知识平权 ScalingLaw（规模法则） 大模型全面整合“大算力、强算法、大数据”，展现出关键要素优化组合的巨大潜力 智能涌现 决策平权 大模型验证科技平权可行技术栈 服务体验平权 模型大小、训练数据量、计算资源的规模和比例，影响建模的性能。 多元升级 基于知识引擎的⾦融⼤模型应⽤实践 •⼤模型在⾦融业务场景下应⽤的趋势和挑战 •⼤模型驱动知识应⽤新范式 •基于知识助⼿基座的⼤模型⾦融领域应⽤实践 ⼤模型的本质：语⾔与世界知识的知识库 Transformer长距离语义关联 ScalingLaw海量知识 参数化的知识表示 •基础的世界知识 •序列/语言的理解能力 •遵循指令能力 •上下文记忆能力与学习能力 •泛化到新任务的能力 •复杂推理的思维链能力 •涌现能力 =+ ⼤模型只是AGI的⼀个⾥程碑 语言能力 事实判断 过程判断 价值判断 BOW N-gramEmbedding CCGLSTM Transformer Promptlearning KnowledgeEnhancement VectorDBAutonomousAgent InstructTurning,ChainofThought RLHFEmbodiedAI AlignmentPPO token 序列 token 词义 句⼦ 单词 段落 短语/句⼦ 句义语义 实体关系 知识 事实 果 事实步骤 过程 过程 因推断 规范约束 ⽬标 ⽬标 价值观 ⼼智 ⼤模型潜在应⽤场景：构建企业知识中台是最佳的切⼊点 非结构化数据的知识化将成为新时代的数智化基建，构建企业知识中台，以知识中台为基础， 构建各类基于知识的应用场景。 容错性高 企业知识问答 闲聊弱专业性 写作 文生图 文档摘要 客服 定向写作 营销 行业报创意 告 专业性弱 智能编程 音箱辅助 专业性强 教育金融 培训投研 投顾法务 咨询 自动 驾驶诊疗 需求大需求小 容错性低 价值高 价值低 ⼤模型驱动知识应⽤新范式 大 模型市场 传统AI赛道的典型模式为AI技术垂直场景+项目制开发,在可持续经营和规模化扩张能力方面稍显不足,而大模型的技术特征和应用效果,让市场对于AI的商业价值产生了全新的认知与期待。 大量参数 深层网络结构 大深层网络结构模大量参数型 大量参数 在新一轮人工智能技术热潮中，中国大模型产业规模快速增长，呈逐年上涨趋势。 175ZB 全球数据量 数据量不断上升 48.6ZB 中国数据量 深层网络结构 可批量化复制 技术落地快 适用范围广 更好的性能 更强的理解和推理能力 较少的特征工程 更容易应用于跨任务和跨领域 大模型的出现大幅度降低了非结构化数据的使用门槛，有助于释放海量非结构化数据中隐含的知识，赋能企业业务。 知识碎片化 知识应用痛点 知识应用认知不足 知识应用市场挑战 数据解析 大模型赋能知识应用优势 信息的爆炸式增长导致知识变得碎片化和分散。 知信息过载 企业缺乏有效的信息筛选处理机制，导致大量信息被堆积和遗忘，无法得到及时有效的利用。 识 应知识共享交流难 知识共享机制不足、知识交流渠道不畅、知识共享和交流意愿不足、语言和沟通障碍。 用 随着知识信息量的不断增加，信息安全风险也不断增加，企业的核心知识和敏感信息在知识管理过程中可能泄露 数据安全风险增加 知识管理市场处于起步阶段 市场缺乏生态体系 非结构化数据多源整合 停留在较层次的文档管理，限制了知识应用的潜力和范围，导致客户缺乏场景和动力扩大知识管理软件的应用规模 知识识别&存储 数据结构化&向量化，支持知识高效提取、统计、归纳等 企业应用场景主要集中于文档管理和检索，局限于显性知识，无法形成知识定义、知识获取、知识存储、知识共享和知识使用的完整体系。 知识查看&验证 面向业务应用需求以场景为中心检验数据质量 人机交互创新 智能体群体协作，辅助客观分析、诊断洞察、关联推荐 市场仍处于发展初期，尚未形成通用的行业标准化方案、稳定的市场格局和成熟的生态 数据资产沉淀 提升运营效率，重构底层框架，架构可延展更新成本低 总体技术框架： 三个步骤、两个算法、⼀个平台 3 •学：各类文档中的显性知识 •用：业务专家的先验知识 •教：行为日志中的隐性知识 2 •定位：任务定位，打开大模 型黑箱 •微调：数据有限的状态下做 性能提升 1 •应用模板：缩短验证周期 •组件集市：避免重复造轮子 •低代码平台：降低创新门槛 三个步骤： 提升知识利⽤效率、辅助知识⾃动更新 学 多模态文档的 显性知识 •多模态非结构化数据的解析 •高质量多样性数据的筛选 •通用大模型的能力剖析 •领域大模型的高效微调 用 用户员工 助手 多模态交互 用 业务专家的 先验知识 •专家经验的可配置化 学 •幻觉检测与消除 •音视频全媒体衔接 提示 提示模板专家 教 大数据处理 教 行为日志中的 隐性知识 •业务指标数据闭环 •人机协作流程设计 •合规加训 领域知识库指令数据集 领域微调 数据过滤筛选 音视频解析 人类反馈 两个算法： NLP任务定位与协同增益图 分层微调与知识注入 打开⼤模型的⿊箱、提升领域专业性 显性知识领域SFT hjt 独创分层LoRA B1jt A 1jtijtNjtj …… A Bijt BNjtRoute A j wrjt r 大模型的CT机：打开大模型的 黑箱，标注出各类NLP任务在模型中的“脑区” Pre-trainedWeights B1jt Bijt BNjtRoute w0jt AAA 1 jt …… i jt N j j jt wrrjt B1jt A x 1jtijt …… A Bijt BNjtRoute A Njtj jrrjt w 大模型的精微调算法：通过分层 LoRA技术，大幅提升微调效 果，并且所需数据量更小、算力 更少、学习效率更高。 隐性知识RLHF 基于反馈持续优化迭代 data MatchModel 4 3 2 1 RerankModel 直觉 系统 逻辑 系统 基于⼤模型的企业智能，数据是核⼼资产 数据→知识→资产 •数据：高质、最小必要 •算力：十卡天持续学习 •策略：专业、经济、安全 •数据：多样、万亿级 •算力：万卡天量级 •策略：预训练，通用 领域大模型 通用大模型 流程提示词智能体 领域大模型 指令数据集领域资料库 解决时效降低60% 降低人力50% 20%+销售业绩 70+运营效率 研发速度提升30+ 检索效率提升50% 数据利用率提升50% 知识助⼿带来的知识应⽤新范式，打通“最后⼀公⾥” 网络搜索问答 内容抽取/总结 文档/数据库问答 智能文档管理 ChatPilot大模型知识助手 唤醒企业知识财富、赋能10亿知识工作者 基于知识引擎的⾦融⼤模型应⽤实践 •⼤模型在⾦融业务场景下应⽤的趋势和挑战 •⼤模型驱动知识应⽤新范式 •基于知识助⼿基座的⼤模型⾦融领域应⽤实践 基于知识引擎基座的⾦融场景解决⽅案 投顾助手培训助手研报助手质检助手 行情分析方案匹配推荐话术产品推荐投后追踪客情维护 材料识别快捷查询模块对练学员画像个性脚本智能打分 市场趋势分析 客户需求分析 市场趋势解读 产品反馈分析 客户特点分析 产品竞争力分析 多模提取混合模型人机协同大小模型对话质检资料质检 领域市场咨询 资产组合 学习材料 金牌话术 研报资料 市场数据 法律法规业务 知识用户画像 员工画像 历史结果 公司规章 历史结果场景 知识引擎 多模态数据解析全链路调优工具全环节模型优化 Modelhub多样性模型选择 原子组件能力沉淀 AgentGraph 自由组件流程编排 领域模型工厂 客户场景 数据能力 投顾助⼿ 基于⼤模型的智能投顾助⼿是发展的必然趋势 数据格式 数据获取方式 数据处理方式 决策效率 决策准确性 包括结构化、非结构化文本数据及音视频等多模态