研报主要内容总结
1. 故意输入对抗样本
- 介绍：对抗样本（adversarial examples）是指通过故意修改输入数据（如文本、图像等），使得机器学习模型产生错误判断的现象。
- 示例：通过对文本进行微小改动，导致模型输出错误结果。
2. 对抗样本应用场景
- 提示词对抗：通过对输入文本中的关键词进行修改，影响模型的输出结果。
- 图片分类对抗：通过在图片中加入难以察觉的干扰，使模型错误分类。
- 文字定位对抗：通过改变文本中的特定字符位置，误导模型识别错误。
3. 攻击方式
- 对抗攻击：通过生成对抗样本（adv image）来攻击模型。例如，使用GAN（生成对抗网络）生成对抗扰动，增强对目标模型的攻击效果。
4. 模型改进方法
- 对抗训练：通过增强模型对对抗样本的鲁棒性，提高模型的稳定性。
- 模型优化：利用GAN等技术学习生成对抗扰动，帮助提升模型对抗攻击的能力。
5. 关键数据
- GAN：生成对抗网络（Generative Adversarial Networks）用于生成对抗扰动，提升模型的抗攻击能力。
以上是对研报主要内容的总结，重点关注了对抗样本的概念、应用场景及攻击方式，并提到了模型改进的方法。
