大模型和智能体安全风险治理与防护

大模型在企业应用场景中存在十大常见安全风险，包括自建模型平台暴露面过大、模型数据和隐私泄露、恶意利用（Prompt注入攻击）、模型推理劫持（对抗样本攻击）、代码辅助工具数据泄露（第三方代码辅助工具）、AI伦理与偏见放大、第三方代码依赖风险（开源模型/库污染）、自动化Agent权限滥用误用、开源模型滥用（深度伪造与辅助犯罪）以及人工智能与大模型的风险组成结构。

大模型应用的安全风险结构分为大模型应用安全、大模型运行环境安全、大模型本体内生安全以及大模型基础设施安全。大模型越狱攻击方法和威胁模型包括MCP协议和应用生态风险、新的供应链安全风险、混淆代理人问题、系统性的安全疏忽以及针对AI的新型混合攻击。

腾讯大模型安全治理框架包括大模型安全防护整体架构、边界与API安全（腾讯LLM-WAF大模型智能安全防护网关）、内部实践孵化（云安全中心AI-SPM主要功能）、智能体身份管理（以统一身份为核心，构建身份安全访问控制）、天御大模型安全网关（以规则+模型为核心，构建身份、流量、工具、决策多重防线）、内容安全（天御内容风控平台，大模型的内容安全实践）以及攻防对抗与安全情报（大模型安全RedTeam对抗实践、大模型安全性测试基准）。

腾讯AI RedTeam建设聚焦实战攻防与AI安全研究，以腾讯的安全专家能力为基础，深度了解大模型的原理和机制，建立针对大模型的安全测试方法，主动发现大模型及生态存在的风险，为大模型的全生命周期保障护航。