核心观点与风险分析
AI生态软件供应链风险案例
- “EchoLeak”：某SaaS办公软件Copilot零点击数据窃取，证实企业级AI助手面临零点击攻击威胁，数据（网盘、文档、邮件等）可被窃取。
- “AgentSmith”：LangSmith平台AI供应链攻击，恶意Agent实现敏感信息泄露和中间人攻击，揭示公共智能体/提示仓库的巨大安全风险。
- “Living Off AI”：Atlassian JSM通过支持工单进行的隐蔽越权攻击，暴露AI生态中“混淆代理人”问题，身份与权限一致性无法保证。
- CVE-2025-58444：MCP Inspector通过XSS实现远程命令执行，将传统XSS攻击升级为对AI本地开发环境的威胁，凸显供应链和AI生成代码安全问题。
AI应用在企业场景中的十大常见安全风险
- 自建模型平台暴露面过大
- 恶意利用（Prompt注入攻击）
- 模型推理劫持（对抗样本攻击）
- 第三方代码依赖风险（开源模型/库污染）
- 开源模型滥用（深度伪造与辅助犯罪）
- 自动化Agent权限滥用误用
- 样本投毒（数据污染）
- 模型数据和隐私泄露
- AI伦理与偏见放大
- 代码辅助工具数据泄露（第三方代码辅助工具）
人工智能与大模型的风险组成结构
- 智能体应用安全：敏感信息泄露、应用开发安全、应用服务风险、业务安全风险。
- 大模型运行环境安全：开发框架风险、开放数据集及训练工具风险、污染的开放数据集风险。
- 大模型本体内生安全：推理、训练阶段的数据泄露、供应链安全风险、越狱风险、prompt指令数据泄漏。
- 大模型基础设施安全：基础设施自身安全性、基础设施运维安全性。
关键问题与攻击方法
- 认知与行为：大模型越狱攻击方法和威胁模型，包括基于提示工程、跨模态不一致、优化、组合/混合等攻击技术。
- 生态与治理：智能体交互协议和应用生态风险，如传统漏洞攻击链放大、混淆代理人问题、新的供应链安全风险等。
- 可信任身份与执行：智能体应用场景带来的复合攻击面威胁，如身份管理一致性缺失、权限提升攻击等。
人工智能风险评估与控制方法框架
- AI运行环境与基础设施安全风险：计算/存储资源隔离不当、配额与限制管理不当。
- AI治理、伦理与合规风险：治理与责任缺失、AI伦理与偏见放大、模型可解释性不足。
- AI智能体与自主系统安全风险：意图破坏与目标操纵、失准与欺骗性行为、工具滥用/智能体劫持。
- 模型安全与鲁棒性风险：模型参数/架构泄露、模型逆向工程、端侧/边缘模型物理提取。
- AI应用与集成安全风险：传统应用安全漏洞、不安全的输出处理、业务逻辑滥用风险。
AI应用身份与权限管理
- 数据输入/输出安全：提示词注入、敏感信息泄露、输出内容违规、个人隐私泄露。
- 智能体身份与权限安全：缺乏智能体身份认证、身份欺骗与冒充、权限泄露/滥用。
- 计算环境安全：数据泄露、未授权访问与数据篡改、操作系统漏洞与配置错误。
智能体交互与生态风险
- RAG相关数据风险：模型投毒、模型后门、端侧/边缘模型篡改。
- 恶意利用与社会影响风险：深度伪造与信息操纵、AI技术滥用于网络攻击、对就业和社会结构的潜在冲击。
AI应用身份与权限管理
- 组织与人员风险：内部人员误用或滥用AI系统、缺乏AI安全意识和技能。
- 自主性带来的其他风险：意外RCE和代码攻击、资源过载、抵赖与不可追踪性。
AI应用身份与权限管理
- 物理环境安全：数据中心/服务器物理安全、边缘/端侧节点物理安全。
AI应用生态市场治理
- 智能体及MCP服务主体和身份认：智能体及MCP服务安全基线和准入许可、智能体及MCP服务市场持续监督。
人工智能和智能体安全防护整体架构
- AI安全治理与可观测性：建立可视化的AI资产与风险测绘，持续进行漏洞检测、权限分析和信誉评估。
- 从“静态策略”迈向“动态行为”：引入意图和行为分析，理解和监督智能体的行为序列和异常模式。
- 构建“可信任”的身份与生态体系：实施AI生态的“零信任”架构，持续验证用户输入、Agent内部状态、调用工具、返回数据。
研究结论
AI生态系统中存在多维度安全风险，包括供应链攻击、越权访问、数据泄露、模型篡改等。攻击手段多样化，涵盖提示工程、对抗样本、自动化生成等。需构建可信任的智能体系统，通过AI安全治理、动态行为分析、零信任架构等措施提升防护能力。
