核心观点
上海人工智能实验室与康科迪亚人工智能合作提出了《前沿人工智能风险管理框架》（v1.5），旨在为通用人工智能（GPAI）模型开发者提供一套全面的风险管理指南，以主动识别、评估、减轻和治理对公共安全和国家安全构成威胁的严重AI风险。
框架概述
该框架包含六个相互关联的阶段：
- 风险识别：系统性地分类和描述GPAI模型可能带来的严重风险，建立基础风险分类体系。
- 风险阈值：定义“黄线”和“红线”，将定性风险描述转化为可操作的决策标准。
- 风险分析：通过整合环境分析和实证评估，描述AI模型的风险特征。
- 风险评价：将分析出的风险与阈值进行比较，将模型分为绿色、黄色或红色三个风险区域，并做出相应的部署决策。
- 风险减轻：实施基于证据的、结果导向的措施，通过“纵深防御”策略将已识别的风险降低到可接受水平。
- 风险治理：建立组织结构、监督机制和问责框架，确保风险管理过程的严格执行、持续监控和定期调整。
三维分析模型
框架采用“环境-威胁-能力”（E-T-C）的三维分析模型来评估风险，其中：
- 部署环境（E）：AI模型部署的运营环境和约束条件。
- 威胁来源（T）：可能触发有害结果的起源或代理，包括外部行为者、内部因素和操作因素。
- 使能能力（C）：AI模型的核心功能能力，使特定风险场景得以实现。
风险分类
框架识别出四个主要风险领域：
- 滥用风险：恶意行为者利用AI模型能力造成伤害的风险，包括网络攻击风险、生物和化学风险、身体伤害和伤害风险以及大规模说服和有害操纵风险。
- 失控风险：AI系统超出人类控制范围的假设未来场景，包括被动失控和主动失控。
- 事故风险：在安全关键基础设施中部署GPAI模型时，由于操作失败、模型误判或不当的人类操作可能引发灾难性后果的风险。
- 系统性风险：广泛部署GPAI模型所带来的系统性风险，例如劳动力市场中断、市场集中和基础设施依赖、全球AI研发分歧以及社会凝聚力和公平性中断。
风险阈值
框架定义了针对不同风险领域的“红线”和“黄线”，例如：
- 网络攻击风险：红线C1包括利用AI模型进行网络钓鱼、网络扫描和恶意代码生成；黄线包括表现出高级网络攻击能力的模型。
- 生物风险：红线B1包括生成危险病原体序列；黄线包括提供生物武器设计知识的模型。
- 大规模说服和有害操纵风险：红线包括生成深度伪造视频和定制化虚假信息；黄线包括表现出大规模操纵能力的模型。
- 失控风险：红线包括无法控制的自主动机化和具有欺骗性行为的模型；黄线包括表现出寻求权力倾向的模型。
风险分析
框架建议开发者实施多阶段的风险分析工作流程，包括：
- 环境分析：收集和分析外部威胁相关因素和部署环境因素。
- 模型评估：使用多种评估方法（如基准测试、红队演练和人类提升研究）和先进的模型引出协议来评估模型的能力和倾向。
- 风险建模和估计：结合环境信息和模型评估结果，构建高风险模型的风险模型，并估计其严重程度和发生概率。
- 部署后风险监控：持续监控已部署的系统，以检测异常行为、使用异常和成功的越狱。
- 生命周期实施：将风险分析过程嵌入到AI开发工作流程中，并在每个阶段进行风险评估。
风险评价和决策
框架建议开发者将风险与黄线和红线进行比较，并将模型分为绿色、黄色或红色三个风险区域：
- 绿色区域（可接受）：风险得到有效管理，允许进行研究、开发或发布。
- 黄色区域（可容忍）：风险仍然存在，但可以通过严格的控制措施进行管理，需要增强监督和评估。
- 红色区域（不可接受）：风险无法有效控制，需要立即暂停部署或开发。
风险减轻
框架建议开发者实施“纵深防御”策略，包括：
- 安全培训措施：通过安全训练技术防止危险能力或倾向的形成，例如模型规范、训练数据过滤、指令层次结构、安全对齐和拒绝训练、目标遗忘、对抗性训练和可解释性引导的消融。
- 部署减轻措施：应用系统级安全措施，例如KYC政策、API输入/输出过滤器、断路器、代理监督和控制协议、结构化能力访问、分阶段部署和禁止使用领域。
- 系统安全措施：保护AI系统免受未经授权的访问、溢出和失控，例如可信执行环境、权重隔离、供应链安全以及自主系统的特殊隔离协议。
- 生命周期风险减轻：在整个AI开发生命周期中协调上述措施，确保持续降低风险。
风险治理
框架建议开发者建立全面的治理框架，包括：
- 内部治理机制：建立组织结构、监督机制和问责框架，确保风险管理过程的严格执行、持续监控和定期调整。
- 透明度和社会监督机制：确保外部利益相关者能够验证AI系统的开发、评估和部署，并追究开发者的责任。
- 紧急控制机制：确保开发者能够快速检测新兴威胁、包含关键事件并通过结构化的响应协议进行补救。
- 政策更新和反馈机制：确保治理框架保持最新、基于证据和响应新兴威胁。
结论
《前沿人工智能风险管理框架》为GPAI模型开发者提供了一套全面的风险管理指南，有助于主动识别、评估、减轻和治理严重AI风险，确保AI技术的安全和发展造福人类。
