AI 助力应用程序的 AI 治理

AI发展现状及安全隐患

• AI发展迅速：企业正积极部署AI辅助的应用程序，100%的受访者表示接受AI辅助开发，但传统安全方法难以应对AI带来的新风险。
• AI类型及风险：
  • 传统AI/ML：用例包括制造优化、供应链、欺诈检测等，风险涉及数据完整性、模型性能监控、偏见审核、访问控制。
  • 大型语言模型（LLM）：包括预训练LLM（专属或开源）、微调和检索增强生成（RAG）、模型训练，用例包括内容生成、聊天机器人、情感分析等，风险涉及数据中毒攻击、模型规避、偏见、知识产权暴露、敏感信息泄露。
• AI风险特点：
  • 变化更快：新技术涌现速度快，企业需快速采用，但风险评估和控制难以跟上。
  • 影响更广：AI系统可能自动做重大决策，生成法律意义内容，访问敏感数据，需更广泛的风险管理模式。
  • 新型安全挑战：需监控AI系统输出和行为，检测新型威胁，补救措施复杂且耗时。

AI治理框架建议

• 核心原则：可视性和控制能力。
• 模型管理：
  • 建立模型清单，包括关键元数据。
  • 制定认可和不认可模型的政策。
  • 审查和批准新AI模型的政策。
• 数据管理：
  • 发现和分类用于AI模型训练和部署的数据。
  • 防止数据中毒。
  • 规范敏感数据的使用。
• 用例管理：
  • 了解AI的用途，记录关键细节。
  • 制定批准和未批准用例的政策。
  • 制定批准使用AI代理的政策。
• 权限和访问：
  • 了解谁在企业中使用AI。
  • 对面向公众的AI应用程序进行更严格的监督。
• 合规性：
  • 监督相关合规框架。
  • 持续考虑当前和未来的合规风险。

PrismaCloudAISecurityPostureManagement解决方案

• 功能：
  • AI模型发现和盘点。
  • 预防数据暴露。
  • 态势和风险分析。
• 优势：
  • 提供对整个AI模型生态系统的可视性。
  • 识别传统工具遗漏的潜在安全和合规风险。
  • 与CodetoCloudTM平台无缝集成，提供完整的CNAPP功能。
  • 快速简便的无代理部署模型。