AI 生成代码的网络安全风险

核心观点

• AI 代码生成能力提升：大型语言模型（LLMs）在生成功能性计算机代码方面的能力显著提升，被广泛应用于软件开发领域，提高生产力并带来积极影响。
• AI 代码生成风险：然而，AI 代码生成也带来网络安全风险，主要体现在三个方面：
  • 生成不安全代码：AI 模型可能生成包含漏洞的代码，如缓冲区溢出、内存泄漏等，可能被恶意利用。
  • 模型易受攻击：AI 模型本身易受攻击，如数据中毒攻击、后门攻击等，可能导致模型行为异常。
  • 下游网络安全影响：AI 生成的代码可能进入开源仓库，影响未来模型的安全性；此外，AI 工具的普及可能导致技术债务增加、劳动力市场变化等问题。
• 评估挑战：评估 AI 代码生成模型的安全性面临挑战，包括编程语言差异、模型类型多样性、评估工具和基准缺乏、提示影响、随机性和可重复性问题、人机交互复杂性以及实验方法学差异等。
• 研究方法：本研究评估了五种代码生成模型（GPT-4、GPT-3.5-turbo、Code Llama 7B Instruct、WizardCoder7B 和 Mistral 7B Instruct）生成代码的安全性，使用 ESBMC 代码检查器检测漏洞。
• 研究结论：
  • 高错误率：所有测试模型都存在较高的验证失败率，约 48% 的代码片段包含可能导致恶意利用的错误。
  • 模型差异：不同模型之间存在显著差异，Mistral 模型错误率较高，Code Llama 模型生成代码能力较弱。
  • 严重漏洞：生成的错误往往较为严重，如缓冲区溢出和解引用失败等。
• 政策影响：
  • 软件供应链安全：AI 代码生成模型的应用可能对软件供应链安全构成风险，需要建立相应的风险管理框架。
  • 多方责任：减轻 AI 代码生成风险需要 AI 开发者、工具提供商、用户和政策制定者等多方共同参与。
  • 安全最佳实践：应将现有的安全最佳实践应用于 AI 代码生成，如安全软件开发生命周期和 NIST 网络安全框架。
  • 模型评估：需要开发更完善的模型评估基准，评估模型生成安全代码的能力。
• 进一步研究方向：未来研究应关注模型性能与安全性的关系、训练数据的安全性、模型评估方法、用户自动化偏差、技术债务影响、现有安全最佳实践的适用性等问题。