人工智能安全与治理现状

研报总结

核心观点与关键数据
本次调查揭示组织在AI治理与安全采用上存在明显差距：具备成熟AI治理的组织加速采用并充满信心，而其他组织则快速推进但缺乏管理风险的结构。随着生成式和代理式AI从试点转向生产，治理“有无”差距成为准备程度的决定性因素。

关键发现

1. 治理是成熟度乘数

   • 具备正式AI治理的组织：2倍可能采用代理式AI，3倍可能培训员工使用AI安全工具，2倍更自信保护AI系统。
   • 治理强化责任创新，减少“影子AI”风险。

2. 安全成为早期AI采用者

   • 90%组织测试或计划用AI进行威胁检测、红队演练和访问控制。
   • 代理式AI使用率显著提升（19%已使用，47%计划采用），标志着安全团队从技术跟随者转变为早期采用者。

3. LLM采用向多模型战略集中

   • 54%使用公共前沿模型（GPT-4、Gemini等），47%使用私有模型，44%使用自托管模型。
   • “四大巨头”（Gemini、Claude、GPT、LLaMA）主导市场，但多模型策略（平均2.6个模型）带来新的韧性、互操作性和供应商锁定风险。

4. 高管对AI热情高涨但安全认知不足

   • 72%组织对AI安全能力缺乏信心，尽管70%高管意识到AI安全影响。
   • 需要加强治理、教育和跨部门协作。

5. AI责任分散但安全主导保护

   • 部署责任分散（AI/ML团队20%、IT19%），但53%组织由安全团队主导AI系统保护。
   • AI安全融入现有治理框架，资金由CISO（49%）、CTO（36%）和CIO（33%）主导。

6. 数据风险突出但模型风险滞后

   • 52%关注敏感数据暴露，50%关注合规，21%关注模型级风险（如数据污染、提示注入）。
   • 需要扩展隐私控制并加入安全设计原则（如内容完整性评估、幻觉缓解）。

研究结论

• 治理成熟度是AI安全采用的关键，建议采用CSA AICM或Google SAIF框架。
• 安全团队需提升AI技能，平衡创新与问责。
• 多模型环境需关注供应商风险和互操作性。
• 模型级风险需通过自适应防御和定制化工具管理。
• 高管需从AI推动者转变为风险管理者，加大专业投资。