2026年威胁态势报告：人工智能体的崛起

核心观点

• 自主AI的风险: 随着AI系统变得越来越自主，它们的能力也越强，这带来了新的安全挑战。攻击者可以利用AI的自主性来执行恶意活动，例如生成钓鱼攻击、进行身份盗窃和发起大规模网络犯罪。
• AI对社会的影响: AI被用于生成虚假信息，破坏民主制度，并导致严重的个人和社会后果。AI聊天机器人的错误信息和偏见也造成了伤害，例如导致自杀和金融欺诈。
• AI系统的风险: AI系统面临着来自多个层面的威胁，包括数据中毒、模型规避、针对生成式AI的攻击、针对自主系统的攻击以及AI供应链安全。
• 防御措施: 为了应对这些风险，需要采取新的防御措施，例如持续验证模型行为、实时检查代理操作、限制工具访问以及实施针对自主架构的安全机制。
• 监管趋势: 全球监管机构正在制定针对AI的法规，重点关注AI风险、透明度、问责制和治理。

关键数据

• 83%的组织认为AI项目对收入至关重要。
• 92%的组织将内部和第三方AI系统视为其核心业务运营的关键。
• 76%的组织报告称，影子AI是一个确定或可能存在的问题。
• 93%的组织使用来自AWS、Azure和Hugging Face等公共存储库的开放权重模型，这增加了供应链风险。
• 29%的组织拥有专门的AI事件响应计划。
• 19%的组织报告说他们执行了手动或自动的AI红队演练。

研究结论

• AI系统应该被视为可被利用的，而不仅仅是易受攻击的。
• 保护AI需要一种新的方法，这种方法侧重于持续的责任、运行时监控、可执行的治理、第三方保证以及为自主架构量身定制的安全机制。
• 安全团队必须将AI安全视为一种监管控制措施，而不是一项功能附加。
• 安全团队必须超越护栏，专注于可证明的运行时安全。
• 安全团队必须将AI风险与业务影响相一致。
• 安全团队必须重新评估第三方风险，并要求供应商提供运行时AI安全。