2025年金融业人工智能应用风险研究报告

一、概述

• 研究背景：随着金融行业数字化转型，人工智能应用场景日益广泛，大模型出现加速了其应用进程，但新型攻击手法也随之涌现，人工智能应用风险引起金融业高度关注。
• 政策与标准：国内外均强调发展和安全并重、加强监管和测评，规范和保障人工智能的安全发展。国内侧重宏观审慎监管和国家战略服务，已发布多项政策法规；国外监管更注重市场效率和消费者保护，确保金融机构遵守相关法律和道德准则。
• 技术发展路线：人工智能攻防领域研究聚焦于模型防护与攻击方法技术，模型攻击技术涵盖对抗样本、窃取、投毒等，模型防护技术包括数据增强、漏洞挖掘与隐私计算等。

二、金融业人工智能安全风险框架

• 基础设施风险：包括AI框架开源风险（断供）、AI框架和芯片安全漏洞、AI供应链安全风险、AI算力消耗风险、AI系统实现风险。
• 数据风险：包括数据污染风险、数据质量风险、数据窃取风险。
• 模型算法风险：包括算法失窃风险、算法失效风险、算法指标失衡风险、算法同质化风险、算法可审计风险、文件木马风险、模型后门风险、对抗攻击风险。
• 应用风险：包括操作性风险（信息茧房、算法共谋）、算法应用风险（算法滥用、算法思维依赖）。
• 伦理风险：包括金融伦理风险、歧视性风险、算法黑箱风险、责任界定风险。
• 隐私风险：包括个人数据泄露风险、商业数据泄露风险。
• 管理风险：包括侵犯版权风险、消费者知情风险、组织流程风险、监管合规风险。
• 大模型安全风险：包括提示注入风险、后缀对抗风险、AI幻觉风险、智能体安全风险、内容合规风险、调用交互风险、基座模型风险。

三、金融业人工智能安全防护框架

• 基础设施防护：包括基础硬件国产化、国产AI计算框架规模化应用、基础框架安全检测、开源可控防护。
• 数据防护：包括数据合规性、数据机密性、数据可用性。
• 模型算法防护：包括模型稳健性、模型公平性、模型可解释性、模型训练监控、模型访问控制、模型遗忘。
• 应用防护：包括应用场景规范性、应用安全检测、运营异常监控、安全意识培训、责任认定。
• 伦理防护：包括加强科技伦理治理、全生命周期伦理管控。
• 隐私防护：包括数据隐私保护、隐私安全意识培训。
• 管理防护：包括建立版权审核机制、信息充分披露、建立内部管理机制。
• 大模型安全防护：包括提示防御、幻觉缓解、内容合规保障、调用控制、基座防护。

四、金融业人工智能风险防控案例

• 工商银行人工智能安全框架：覆盖算力、数据、算法等多个方面，实现安全可信的应用。
• 蚂蚁集团大模型安全一体化解决方案：构建双重防御体系，内置净化训练数据，外置智能风控，保障安全。
• 邮储银行人工智能安全技术体系：建立大模型生态体系，重点关注模型评测和应用层安全。

五、总结与展望

• 构建金融人工智能监管新生态，引领行业安全稳健发展。
• 提升核心技术自主可控水平，筑牢人工智能安全防线。
• 强化内部管理与员工培训，保障人工智能可信应用。
• 促进跨行业技术交流合作，共建人工智能风险治理体系。