大语言模型越狱攻击: 模型、根因及其攻防演化

核心观点

大语言模型（LLM）在自然语言处理领域取得了显著成就，但其安全性问题，特别是越狱攻击，也日益突出。越狱攻击通过绕过LLM的安全保护机制，使其生成违反使用准则、道德或法律的内容，引发伦理问题。

越狱攻击的定义与形式化模型

本文根据方法、对象、目标三要素，提出了越狱攻击的定义：通过设计提示、操纵模型或其他手段，有意规避语言模型中对齐等安全保护机制，最终诱导语言模型对有害问题进行有效回复的行为。并给出了形式化模型，其中方法包括设计提示、操纵模型或其他手段；对象为具备安全保护机制的语言模型；目标为诱导语言模型对有害问题进行有效回复。

越狱攻击的起源及其根因

越狱攻击的出现与LLM的发展密不可分。本文从LLM的演化以及对安全认知的演变两个角度分析了越狱攻击的发展历史，并将越狱攻击存在的根因总结为模型的服务属性与价值观的不匹配。具体而言，数据、算法、目标等方面存在的缺陷，以及价值观引入后产生的新问题，都可能导致越狱攻击。

越狱攻击的攻防演化

本文对越狱攻击和越狱防御做了系统性梳理，并从攻防博弈的角度审视了越狱攻防的演化。现有越狱攻击方法可分为提示越狱、模型操控越狱以及间接越狱三种，其中提示越狱又可细分为人工设计、自动改写、自动优化三种。防御方法则可分为安全性训练、红队测试、输入侧防御、安全性推理以及输出侧防御五类。

攻防演化规律

攻击与防御技术在技术层面体现出一致性，或称之为同源性。例如，固定上下文攻击与提示防御、模型改写攻击与扰动判断防御、概率操纵越狱与安全性推理防御等，都体现了攻击与防御之间共享的基本原理。同时，攻击技术和防御策略之间不断演变的竞争关系构成了红蓝双方的不断进化。

评价指标

越狱攻击中最重要的评价指标是攻击成功率（ASR），判断越狱攻击是否成功的关键在于对回复是否有效的界定。此外，还有全体攻击成功率、不拒绝率等指标。评估越狱攻击的方法包括人工标注、模板匹配、微调评估模型以及大模型评估等。

研究结论

越狱攻击反映了安全性从传统的毒性认知向更广义的无害性的转变，突显了价值观在人工智能发展中的核心地位。LLM越狱攻击的研究已取得一定进展，但仍面临诸多挑战，需要进一步研究和解决。