人工智能 安全治理 系统风险管理能力要求（报批稿）

人工智能安全治理系统风险管理能力要求

范围
本文件规范了人工智能系统的组织建设能力、流程管理能力以及风险防护能力的要求，适用于研发与应用人工智能系统的相关主体开展风险管理的指导工作。

规范性引用文件
包括GB/T23694-2024《风险管理术语》、GB/T41867-2022《信息技术 人工智能 术语》等。

术语和定义
定义了人工智能、风险、风险管理、隐患等关键术语。

人工智能系统风险管理能力体系要求
风险管理能力体系由组织建设能力、流程管理能力和风险防护能力三部分构成。

组织建设能力

• 目标方针：制定人工智能风险管理相关的目标方针，明确总体方向、基本原则与长期目标，并覆盖人工智能系统全生命周期。
• 治理架构：设置人工智能风险管理相关的治理架构，明确组织结构、职责分工和跨部门协作机制。
• 制度文件：制定人工智能风险管理制度文件，规范基本流程、工作机制和监督要求。

支撑保障

• 能力建设：通过培训、技能评估和持续学习机制，提升组织成员在风险识别、评估、应对方面的能力。
• 资源配置：分配必要的人力、物力和技术资源，确保有效支撑人工智能风险管理流程。
• 文档记录：建立风险管理文档记录，确保可追溯性和透明度。

沟通协调

• 跨部门沟通：建立人工智能系统风险管理的内部协作机制，确保信息共享和协调一致。
• 外部沟通：建立与利益相关方的协作机制，确保人工智能系统风险信息的及时交换。

流程管理能力

• 风险识别：开展内外部环境确认和风险核查，形成风险识别清单。
• 风险评估：对已识别风险开展风险分析，进行风险分级和隐患分级，并开展风险评价。
• 风险应对：根据风险评估结果，制定并采取适当的应对措施实施风险处置，并形成风险报告。
• 风险动态跟踪与持续改进：在风险管控措施执行后持续开展动态监测，并根据监测结果开展持续改进。

风险防护能力

• 可靠性要求：采取措施降低模型输入幻觉内容的风险，提升结果准确性，并确保结果符合预期目标与伦理规范。
• 可控性要求：支持外部代理干预其运行，确保在必要时能够接管系统的控制权。
• 安全性要求：引入异常数据检测机制，提升模型在面对外部攻击时的防御能力，并降低模型被植入后门的风险。
• 公平性要求：采取措施避免有害偏见，且不对特定个体或群体产生歧视性结果。
• 透明性要求：向利益相关者披露有助于风险管理的信息，包括数据保护、系统目的、系统构建和部署方式、决策机制及自动化程度等。
• 可解释性要求：以人类可理解的方式表达影响决策重要因素的能力。
• 隐私保护性要求：确保涉及的个人隐私等敏感信息得到应有保护。
• 可问责性要求：具备可追溯、可验证和可监督的特性，能够为界定和追溯人类相关方的责任提供依据。

附录

• 附录A：风险识别清单参考文件和模板。
• 附录B：风险发生可能性判定方法。
• 附录C：风险评估报告模板。
• 附录D：风险应对报告模板。

参考文献
列出了相关标准和法规，如ISO/IEC 42001:2023、数据安全法、网络安全法等。