2025年大语言模型应用十大安全风险

LLM Applications 2025

描述

本研报围绕大型语言模型（LLM）的应用安全，重点讨论了2025年LLM应用面临的主要风险和攻击方式。报告引用了多个研究案例和学术论文，分析了模型提取攻击、系统提示泄露、输出处理不当等问题，并提出了相应的防御框架和解决方案。

核心观点与关键数据

1. 模型提取攻击：

   • Proof Pudding (CVE-2019-20634)：涉及AVID（moohax & monoxgas）的漏洞利用案例。
   • arXiv:2403.06634：展示了如何窃取生产环境中的语言模型部分内容。
   • Runaway LLaMA：Meta的LLaMA NLP模型泄露事件分析。
   • I Know What You See：相关论文探讨了模型提取攻击的技术细节。
   • A Comprehensive Defense Framework Against Model Extraction Attacks：IEEE论文提出的防御框架。
   • Securing AI Model Weights：防止前沿模型被盗用和误用的方法。

2. 系统提示泄露：

   • Alpaca：斯坦福CRFM的研究表明Alpaca是一个强效、可复制的指令跟随模型。
   • How Watermarking Can Help Mitigate The Potential Risks Of LLMs？KD Nuggets论文探讨了水印技术在缓解LLM风险中的应用。

3. 输出处理不当：

   • Sponge Examples：arXiv论文分析了神经网络中的能量延迟攻击。
   • Sourcegraph Security Incident：涉及API限制操纵和拒绝服务攻击的事件。

研究结论

报告强调了LLM应用在输出处理、系统提示管理和模型保护方面存在的安全风险，并建议通过防御框架、水印技术和安全策略来提升LLM应用的安全性。多个案例和研究表明，模型提取攻击和系统提示泄露是当前的主要威胁，需要采取综合措施进行防范。