信通院-面向金融业务典型场景的大模型应用能力评估与思考

中国信息通信研究院云计算与大数据研究所副所长何阳：金融领域大模型应用发展态势与评估体系思考

一、整体发展态势

• 国家战略引领： 2025年，金融领域大模型将成为核心载体，推动金融业数字化智能化转型，重构服务生态，释放数字经济动能。
• 政策趋势：
  • “人工智能+”战略推动大模型应用从试点探索迈向全面深化。
  • 大模型融入金融行业数智化发展战略布局。
  • 金融领域大模型应用以风险可控合规为前提，如研发科技金融授信审批人工智能模型。
• FAIS行动方案： 加速金融服务模式变革，促进六大重点领域（科学技术、产业发展、消费提质、民生福祉、治理能力、全球合作）深度融合。
• 金融业转型需求： 面临行业发展转变、客户需求升级、风险管理复杂、运营效率待提升等挑战，亟需通过数智化技术重构业务价值链。
• 大模型落地应用： 渐进式分阶段落地，赋能业务发展，目前主要应用于流程自动化、辅助决策、业务创新、风险评估等目标，以内场景落地为主。
• 大模型基准测试： 产学研各界发布的大模型基准测试体系数量不断攀升，但多侧重通用能力，缺少与具体业务结合的垂直领域能力评估。
• 金融场景大模型应用效果评价： 缺乏针对具体金融场景和业务下的大模型应用评估方法，导致金融机构进行大模型应用效果评价存在困难。

二、评估体系思考

• 业务价值提升能力（V）： 衡量大模型应用成效的最终指向，包括业务契合度、业务效能提升率、决策增强力、业务收益提升率、业务创新能力、客户满意度、客户市场拓展力、成本节约率。
• 服务可靠性（R）： 金融场景大模型应用的基础技术能力，包括易用性、稳定性、计量准确性、平均无故障时间、工具调用能力、可维护性、可拓展性以及兼容性。
• 应用安全性（S）： 金融场景大模型应用的保障能力，包括隐私保护能力、可审查性、合规性、风险管理能力以及幻觉避免能力。
• FLMM评估模型： 分为3个能力域，21个能力子域，54个能力项，适用于金融通用业务场景和银行、保险、证券特色业务场景。
• 评估方法： 以客观评估为主，主观评估为辅，采用1-5分的5层计分方式，最终得分满分100分。
• 评估结论： 根据金融机构典型业务场景的大模型应用能力的评估情况，将应用能力成熟度等级划分为1-5级（基础级、成长级、提升级、优秀级、卓越级）。

三、FAIS研究计划介绍

• FAIS计划： 为进一步推动大模型与金融业务深度融合，助力金融业新质生产力培育，中国信息通信研究院联合相关单位共同发起“基于金融业务场景的大模型应用研究计划”。
• 工作体系建设： 全面升级推进“1+1+N”工作体系建设，包含生态能力提升、效能评估体系建设两项重点工作与高质量数据集研究、信创运维大模型建设、应用场景研究等N个专项行动计划。
• 场景建设： 面向金融典型场景的大模型规划方法论，根据自身发展阶段制定差异化路径，覆盖契合各类型机构的AI应用路径。
• 案例征集： “灯塔计划”构建金融行业大模型应用案例库，围绕七大核心场景深度布局，建立"研究-实践-评估-优化"闭环机制。
• 数据集构建： 进一步构建涵盖多种业务场景、符合合规要求且具备广度和深度的高质量数据集，助力金融机构提升大模型应用及评估能力。
• 产品打造： 持续推进金融信创运维大模型建设工作，以运维知识数据集与场景智能体建设为重点方向。
• 效能评估： 开展覆盖金融领域大模型应用全生命周期的效能评估，帮助团队明确优化方向，合理配置资源，提升整体运营效率。
• 生态建设：
  • 开展系列大模型生态活动，搭建产学研用信息共享交流和供需对接平台。
  • 开展金融领域大象限征集工作，挖掘基于金融业务场景的大模型优秀实践，明晰基于金融业务场景的大模型产业格局。
  • 打造金融领域大模型专家人才枢纽“智鸿”专家计划，发掘、汇聚、赋能优秀人才，助推人才之间的沟通与协作。