新加坡：CSA关于保护代理人工智能系统的附录

核心观点

• 自主人工智能（AI）系统是一种能够自我管理、计划、执行、评估和迭代以实现指定目标的AI系统。它们代表了传统AI系统的重大进步，能够表现出越来越复杂的理解、计划和行动能力。
• 自主AI系统带来了新的能力和机遇，但也引入了新的安全考虑因素，例如系统边界、控制机制和意外的涌现行为。
• 新加坡网络安全局（CSA）发布了这份补充指南，旨在为系统所有者提供有关如何保护其自主AI系统的建议。
• 指南采用基于风险的方法，涵盖了AI开发生命周期，并介绍了与自主AI相关的特定考虑因素。
• 关键考虑因素包括：
  • 自主工作流程：绘制自主工作流程以识别系统潜在的威胁向量。
  • 能力：根据自主AI系统的功能列出自主AI相关的风险和缓解措施。
  • 案例研究：提供基于当前行业用例的示例，作为如何应用补充指南的实用资源。
• 指南强调了以下关键原则：
  • 采取生命周期方法，并以风险评估为起点。
  • 实施适当的缓解措施和控制措施。
  • 持续监控和记录。
  • 确保充分的人工监督（人工参与）。
• 指南还讨论了以下内容：
  • 自主AI系统的组成部分：大型语言模型（LLM）、指令、工具、记忆和协议。
  • 系统设计：架构、角色和访问控制、系统工作流程和自主性。
  • 自主AI系统的能力：认知、交互和运营能力。
  • 对自主AI系统的安全威胁：恶意行为、敏感数据泄露和其他新兴风险。
  • 针对自主AI系统的缓解措施：供应链安全、模型强化、系统强化、身份识别、跟踪和保护资产、定期备份、授权和身份验证、限制代理、安全默认值、环境分割、模型自我反思、减少幻觉的可能性、持续监控和日志记录、人工参与和漏洞披露流程。
• 指南还提供了两个案例研究：Web应用开发系统和客户入职系统，以说明如何应用补充指南。