人工智能安全治理研究报告（2025年）

一、人工智能安全治理概述

• 宏观规范要求迈向务实新阶段：人工智能技术快速发展，但同时也带来了数据安全、算法偏见、模型幻觉等问题。全球人工智能安全治理正从宏观风险关注转向产业发展中的安全风险，从原则性探讨转向监管落地方法与评估框架构建。
• 技术应用发展凸显风险新态势：人工智能技术应用的安全风险呈现三个特点：风险形态层出不穷，风险识别难度高，模型能力边界不明。
• 产业实践需要安全治理新框架：产业界需要构建系统化、可落地、可评估的安全治理实践框架，以应对人工智能安全治理的挑战。

二、全球人工智能安全治理现状

• 国际合作层面：主要国际组织加速推进治理规则完善，各国多措并举务实行动，产业界、学术界积极开展二轨对话，凝聚安全治理共识。
• 监管政策层面：欧盟、美国、英国、新加坡等国分别从立法、政策、标准等方面推动安全治理体系化落地。
• 产业实践层面：产业界积极形成自律共识，构筑产业良性发展生态；产业组织积极开展测试评估，提升大模型安全水位；企业间积极建立互通渠道，形成协同共治的产业生态。

三、人工智能产业安全治理核心挑战

• 技术发展扩大内生安全新敞口：模型的数据依赖性、不可解释性，模型能力持续升级，人工智能安全攻防能力非对称性加剧。
• 应用延展引发衍生安全新难题：应用形态持续迭代，开源生态的开放性，人工智能社会化应用持续深化。
• 组织管理体系构建面临新卡点：技术原理的黑箱属性，人工智能技术应用的复杂性，多重身份产业主体。
• 多元共治协同机制尚待健全完善：安全基准测试体系尚未达成共识，全域治理方案落地存在技术瓶颈，产业共治机制与规范流程尚未成型。

四、人工智能安全治理通用实践框架

• “两横三纵”框架：以“管理”与“技术”双线协同为横轴，以“开发侧”“部署侧”与“应用侧”三侧发力，实现全链条防护。
• 风险管理：构建闭环的人工智能风险管理体系，包括通用管理要求、人工智能系统开发、人工智能系统部署、人工智能系统应用。
• 模型研发：筑牢人工智能开发安全源头根基，包括选型设计、数据治理、安全对齐、测试评估。
• 系统部署：构建人工智能部署安全防护屏障，包括云网安全、框架安全、代码安全、安全护栏。
• 应用运行：强化人工智能应用安全动态评估，包括访问控制、构造标识水印、身份认证、合成检测、监测预警、业务应用安全评估。
• 产业生态：共建基准测试体系与协同治理机制，包括基准测试、凝聚产业共识、推动安全测试验证、构建行业风险协同治理网络。

五、典型领域探索安全治理实践方案

• 金融行业：探索金融行业大模型应用分类分级方案，引入安全护栏工具，探索算法修正，实施本地化部署。
• 医疗行业：构建医疗领域高质量数据集，引入外部工具解决模型幻觉问题，加强伦理审查。
• 交通行业：探索端到端的安全测试，打造更安全便捷的出行服务。
• 能源行业：强化数据安全防护，加强工业系统网络安全防御，提升模型在工业领域应用的可解释性。
• 通信行业：积极实践 AI+数据安全智能管理，构建大小模型自主协同技术方案，结合检索增强生成与深度思考技术的安全知识赋能，构建覆盖“事前-事中-事后”的人工智能一体化安全技术体系。

六、展望

• 短期和中期：内容来源与真实性、技术透明与可解释、面向产业的人工智能管理体系、聚焦行业的安全评估测试体系将成为治理重点。
• 远期未来：人工智能可能进入超越人类智能的阶段，人机关系界定、伦理边界划分、社会规则体系重构将面临挑战。需要筑牢技术根基，推动制度创新，加强全球协作，共同推动人工智能向安全、负责任、可持续的方向发展。