2025年AI威胁态势报告：驾驭隐藏层的AI风险崛起

人工智能安全调查要点概览

• 人工智能在商业中的关键作用日益凸显，但安全措施仍需加强。
• 人工智能漏洞和攻击日益增多，主要来源包括第三方人工智能集成、深度伪造骗局和内部聊天机器人攻击。
• 人工智能攻击的动机多样，包括网络犯罪、政治竞选和意外后果。
• 人工智能漏洞信息披露和透明度不足，IT领导者强烈支持强制披露。
• 人工智能系统类型多样，其中从公共仓库中提取的模型中的恶意软件和第三方应用程序是主要风险。
• 人工智能安全措施不足，仅有少数IT领导者使用红队演练和部署技术解决方案。
• 人工智能治理框架与政策方面，透明度与道德监督仍需加强。
• 2025年人工智能安全投资增加，但内部对安全角色与责任存在辩论。

人工智能的新进展

• 多模态模型、检索增强生成（RAG）、人形机器人和自主AI是近年来的重要进展。
• 检索增强生成结合LLMs与外部知识检索，提高响应准确性和实时性。
• 自主型人工智能将极大增强使用和与人工智能互动的方式。
• 人形机器人技术取得显著进步，如特斯拉擎天柱和敏捷机器人公司的数字机器人。
• 开源模型的崛起降低了进入门槛，但也扩大了攻击面，如DeepSeek-R1模型的出现。

与使用人工智能相关的风险

• 人工智能在网络犯罪中的应用日益广泛，包括网络钓鱼、深度伪造骗局、恶意软件和非法内容制作。
• 人工智能在政治竞选中的使用带来虚假信息传播和舆论操纵的风险。
• 人工智能使用的无意识后果包括幻觉和准确性问题、版权问题、隐私问题和情感依赖。

人工智能系统面临的风险

• 对抗机器学习攻击包括模型逃逸、数据污染、模型后门攻击和模型窃取。
• 对抗生成式人工智能的攻击包括提示注入、多模态提示注入、间接注入和隐私攻击。
• 供应链安全风险包括机器学习序列化中的漏洞、MLOps平台侦察和滥用地学习服务。

人工智能安全进展

• 人工智能红队演练演进，对抗工具不断发展，如PyRIT和Garak。
• 现有防御框架更新，如MITRE ATLAS、OWASP Top10 2025和NIST AI RMF。
• 新安全倡议包括模型来源、密码学签名和AIBOM/MLBOM。
• 新指南和立法方面，欧盟AI法案和美国各州人工智能相关法案的出台。

预测与推荐

• 代理式人工智能将成为主要攻击目标，数字内容信任将面临侵蚀。
• 组织将把对抗性机器学习整合到红队演练中，针对人工智能终端设备的攻击将加剧。
• 首次将制定专门针对人工智能系统的正式事件响应指南。
• 高级威胁将演进，利用第三方人工智能库和模型中的漏洞。
• 安全从业者建议包括发现与资产管理、模型鲁棒性与验证、风险评估与威胁建模、安全开发实践、数据安全和隐私、持续监控和事件响应。
• 人工智能第三方风险问题凸显，需加强供应商评估。