大模型安全风险治理与防护涉及多个关键阶段和风险点。AI技术发展历程从感知机到ChatGPT,标志着AI进入“大模型”时代,为企业数字化带来新机遇。大模型企业应用中存在十大常见安全风险,包括样本投毒、恶意利用、数据泄露、第三方代码依赖风险等。
大模型应用的安全风险结构分为敏感信息泄露风险、应用开发安全风险、应用服务风险和业务安全风险。大模型运行环境安全需关注数据泄露、供应链安全、越狱风险等。大模型本体内生安全涉及基础设施安全、运维安全等。
大模型安全治理框架涵盖安全基准、安全运营、安全管控、计算环境安全、访问与身份安全等方面,旨在满足监管要求,提供安全、可控、可靠的服务。腾讯大模型安全防护方案围绕大模型生命周期,制定不同阶段的安全防护措施,重点关注边界API、数据安全、模型基础设施安全等。
大模型安全防护整体架构包括边界与API安全、数据安全、内容安全、智能体与MCP身份和特权防护等。腾讯LLM-WAF大模型智能安全防护网关提供多模型、多场景下的全链路防护能力,实时检测并拦截算力滥用、提示词攻击及数据泄露风险。
大模型攻击面和漏洞管理系统(AI-SPM)通过组件识别、资产测绘、风险态势感知等功能,保护大模型基础设施运行环境。大模型的全生命周期数据安全与隐私保护涉及数据采集、处理、存储等环节,通过数据脱敏、加密、分类分级等措施确保数据安全。
天御内容风控平台为大模型训练和推理提供内容安全支撑,涵盖接口输入、内容预处理、模型识别等维度。大模型安全Red Team对抗实践通过红蓝对抗演习,主动发现大模型及生态存在的风险,建立针对大模型的安全测试方法。
腾讯AI RedTeam聚焦实战攻防与AI安全研究,深度了解大模型原理和机制,为混元的全生命周期保障护航。通过提示注入、对抗样本、基础设施安全研究等方法,验证安全有效性,实现风险收敛和应急响应。