8002024生成式AI应用程序安全测试和验证标准（英译中）

生成式AI应用程序安全测试和验证标准是由世界数字技术学院(WDTA)制定的一份详细框架，旨在确保使用大型语言模型（LLM）构建的下游AI应用程序的安全性和完整性。这份标准文档涵盖了AI应用程序堆栈各个层次的安全测试和验证要求，确保从基础模型选择到运行时安全性，所有组件都能按预期安全运行。

关键领域及测试标准

基础模型选择测试标准：

1. 合规性和上下文测试：确保模型符合法律、监管、安全和道德标准，包括审查模型的合规性文档、评估模型卡中的上下文元数据和训练微调的历史。

嵌入和矢量数据库测试标准：

1. 数据清理和匿名化测试：确保数据的准确性和一致性，以及用户隐私的保护。

使用RAG（检索增强生成）进行提示和知识检索测试：

1. 快速施工测试、提示模板测试、外部API集成测试（包括函数调用和插件）、从矢量数据库检索测试。

快速执行/推理测试：

1. LLM API测试、缓存和验证测试。

代理行为测试：

1. 快速响应测试、内存利用率测试、知识应用测试、规划能力测试、工具利用率测试、微调后的模型部署测试。

微调测试：

1. 数据隐私检查测试、微调的基本模型选择测试、微调的基本模型存储测试、训练数据中毒测试、微调后的模型部署测试。

响应处理测试：

1. 接地或事实检查测试、相关性检查测试、毒性检查测试、道德检查测试、不安全输出处理测试、后门攻击测试、隐私和版权合规性检查、对未知或不支持的查询的正常处理。

AI应用程序运行时安全性测试：

1. 数据保护测试、模型安全测试、基础设施安全测试、API安全测试、合规性和审计跟踪测试、实时监控和异常检测测试、配置和状态管理测试、事件响应计划测试、用户访问管理测试、依赖项和第三方组件安全测试、强大的测试和验证、可用性测试、侦察防护测试、持久性缓解测试、权限提升防御测试、防御逃避检测测试、Discovery抵抗力测试、收集保障测试。

结论

这份标准文档为生成式AI应用程序的安全测试和验证提供了全面的框架，旨在确保AI应用程序在整个生命周期内安全、可靠地运行。通过覆盖从基础模型选择到运行时安全的各个方面，它强调了确保AI系统在道德、安全和合规性方面的责任，为推动负责任的人工智能发展提供了坚实的基础。