8002024生成式AI应用程序安全测试和验证标准（英译中）

世界数字技术学院(WDTA) 生成式AI应用程序安全测试和验证标准 世界数字技术学院标准 WDTAAI-STR-01 版本:2024-04 ©WDTA2024-保留所有权利。 世界数字技术标准WDTAAI-STR-01被指定为WDTA规范。本文件是世界数字技术学院(WDTA)的财产，受国际版权法保护。未经WDTA事先书面许可，禁止使用本文档，包括复制、修改、分发或重新发布。WDTA不对本文档中的任何错误或遗漏负责。 https://wdtacademy.org/了解更多WDTA标准和相关出版物。 版本历史记录* 标准ID版本日期变更 WDTAAI-STR-011.02024-04初始版本 前言 世界数字技术学院(WDTA)致力于成为全球数字技术创新的开拓者，与作为非政府组织的联合国框架保持一致。WDTA坚持其3s原则-速度，安全，共享-致力于加速数字规范的创建，带头研究，鼓励国际合作，并保持技术进步的领先地位。 通过合作努力，WDTA致力于推动数字技术的发展，以改善社会。AISTR(安全，信任，责任)计划是WDTA国际计划的核心部分，旨在解决人工智能系统扩散带来的复杂挑战。认识到AI技术在全球范围内的快速扩展和整合，AISTR站在全球技术进步的最前沿。 本标准文档提供了一个框架，用于测试和验证生成式AI应用程序的安全性。该框架涵盖了AI应用程序生命周期中的关键领域，包括基本模型选择，检索增强生成设计模式中的嵌入和矢量数据库，提示执行/推理，代理行为，微调，响应处理和AI应用程序运行时安全性。主要目标是确保AI应用程序在其整个生命周期中按照其预期设计安全运行。通过为AI应用程序堆栈的每一层提供一套测试和验证标准和指南，重点关注安全性和合规性，本文档旨在帮助开发人员和组织增强使用llm构建的AI应用程序的安全性和可靠性，减轻潜在的安全风险，提高整体质量，促进负责任地开发和部署人工智能技术。 AISTR计划代表了我们如何处理AI技术的开发和部署的范式转变。倡导人工智能系统中的安全、信任和责任，为更道德、安全和公平的数字未来奠定了基础，在未来，人工智能技术是进步的推动者，而不是不确定性和伤害的来源。生成式AI应用程序安全测试和验证标准是AISTR标准之一。 WDTA执行主席 致谢 WDTAAISTR工作组联合主席 黄肯(CSAGCR)尼克·汉密尔顿(OpenAI)约西亚·伯克(Anthorphic) 主要作者 黄肯(CSAGCR) 希瑟·弗雷泽(乔治敦大学)黄杰瑞(KleinerPerkins)LeonDerczynski(Nvidia) 杰克逊克里斯托(A)(加州大学伯克利分校)PatriciaThaine(私人AI) GovindarajPalanisamy(全球支付公司) VishwasManral(Precize.ai) 胡庆(Meta) 道森广告(OWASP®基础) AmitElazari(OpenPolicy) ApostolVassilev(国家标准与技术研究所) 李(芝加哥大学) 审阅者 CariMiller(包容性变革中心) 丹尼尔·奥特曼(Google) 宋黎明(加州大学伯克利分校)施吉恩(学习精灵) 郭建玲(百度)黄静(科大讯飞) JohnSotiropoulos(Kainos)JosiahBurke(Anthropic)LarsRuddigkeit(Microsoft)GuanchenLIN(AntGroup) MelanXU(世界数字技术学院)NathanVanHoudnos(卡内基梅隆大学)NickHamilton(OpenAI) RobvanderVeer(软件改进组)SandyDunn(BreachQuest，被Resilience收购)SeyiFeyisetan(亚马逊) 沈玉石(NovNet计算系统科技有限公司) 郭松(香港科技大学)史蒂夫·威尔逊(Exabeam)莫代尔 Swapnil(Meta)塔尔·夏皮拉(RecoAI)王安宇(OPPO)王威奇(ISACA) 王永霞(腾讯) 目录 1.范围1 2.目标受众4 3.规范性引用文件5 4.术语和定义6 5.AI应用安全和验证标准9 5.1基本模型选择测试标准9 5.1.1模型合规性和上下文测试9 5.1.2数据使用检查测试11 5.1.3基本模型推理API安全测试15 5.2嵌入和矢量数据库20 5.2.1数据清理和匿名化测试20 5.2.2矢量数据库安全测试21 5.3使用RAG23进行提示和知识检索 5.3.1快速施工测试23 5.3.2提示模板测试25 5.3.3外部API集成测试(函数调用、插件)27 5.3.4从矢量数据库检索测试28 5.4迅速执行/推理28 5.41LLM应用程序api测试295.4.2缓存和验证测试32 5.5代理行为32 5.5.1快速响应测试444 5.5.2内存利用率测试444 5.5.3知识应用测试34 5.5.4规划能力测试34 5.5.6工具利用率测试35 5.5.7过度的机构测试35 5.6微调37 5.6.1数据隐私检查测试37 5.6.2微调的基本模型选择测试38 5.6.3用于微调的基本模型存储测试38 5.6.4训练数据中毒测试38 5.6.5微调后的模型部署测试39 5.7响应处理39 5.7.1接地或事实检查测试39 5.7.2相关性检查测试40 5.7.3毒性检查测试41 5.7.4道德检查测试41 5.7.5不安全输出处理测试42 5.7.6后门攻击测试42 5.7.7隐私和版权合规性检查43 5.7.8对未知或不支持的查询的正常处理44 5.8AI应用程序运行时安全性44 5.8.1数据保护测试45 5.8.2模型安全测试45 5.8.3基础设施安全测试47 5.8.4API安全测试48 5.8.5合规性和审计跟踪测试48 5.8.6实时监控和异常检测测试48 5.8.7配置和状态管理测试49 5.8.8事件响应计划测试49 5.8.9用户访问管理测试50 5.8.10依赖项和第三方组件安全测试50 5.8.11强大的测试和验证50 5.8.12可用性测试51 5.8.13侦察防护测试51 5.8.14持久性缓解测试51 5.8.15权限提升防御测试52 5.8.16防御逃避检测测试52 5.8.17Discovery电阻测试53 5.8.18收集保障测试53 5.9附加测试规范53 5.9.1供应链漏洞测试53 5.9.2安全AI应用程序开发流程57 5.9.3AI应用程序治理测试58 5.9.4安全模型共享和部署62 5.9.5决策的透明度64 生成式AI应用程序安全测试和验证标准 1.范围 生成式AI应用程序安全测试和验证标准文档概述了一个全面的框架，用于测试一下或验证下游AI应用程序的安全性，特别是那些使用大型语言模型(llm)构建的应用程序。它定义了AI应用程序堆栈各层的测试和验证范围(图1)。将生成的GenAI模型集成到更大的支持AI的系统或下游应用程序中可能会引入安全问题。因此，所有下游AI应用程序都需要安全测试和标准验证，即使基本的GenAI模型在集成到下游应用程序之前已经过全面测试。 虽然本文档作为初始版本，但其在本次迭代中的主要重点是LLM。但是，重要的是要注意范围扩展到GenAI。在本文档的后续版本中，将有机会合并多模式和扩展的GenAI模型 AI安全测试和验证协同工作，以确保AI应用程序安全且按预期运行。在可行的情况下，应在整个开发生命周期中采用稳健的方法，使用诸如快速注入，扫描和红色团队练习之类的技术来主动识别问题。然而，单独的测试有局限性，特别是对于第三方组件，测试可能是不可能的或有限的。在这种情况下，聘请专门审计AI治理、流程和程序的外部专家或组织对于验证第三方组件的安全性极为重要。彻底审核AI应用程序以检查所有生命周期部署环境中是否符合安全标准至关重要。 对下游AI应用程序的彻底检查可确保遵守安全标准，即使在模型级别评估不充分的情况下也是如此。具有强大测试实践的集成保证方法以及对策略，流程和性能的持续验证，为系统继续自主学习提供了负责任的AI结果的保证。它们共同提供有关系统优缺点的信息，通知适当的最终用途应用程序和不适当的最终用途应用程序，并协助降低风险。 本规范涵盖基于基本LLM模型构建的下游应用程序的安全测试，但不详细说明基本LLM模型本身的安全测试一下规范。将来要发布的单独文档将涵盖专门针对基本LLM模型的安全测试规范。 本规范涉及以下关键领域: 基础模型选择:在选择之前，应检查下游AI应用的候选模型。本节介绍验证基本模型的合规性、适当的数据使用和API安全性。该文件提供了指导，以确保所选择的模型符合法律，道德和操作标准，这是确保AI应用程序安全性的关键一步。范围包括开源和闭源模型选择。 嵌入和矢量数据库:在大多数下游AI应用程序中，这些都是关键组件，用于存储和检索语言数据块。本文档概述了测试数据完整性，质量和匿名化过程的程序，以保护用户隐私并遵守法规。该规范提供了测试矢量数据库的机密性、完整性和可用性的指南。 提示和知识检索与检索增强生成(RAG):RAG可以显着提高生成AI应用程序的事实准确性和可靠性，例如大型语言模型。它通过在文本生成期间实时地动态合并从外部源提取的相关的、特定领域的知识来实现这一点。本节将指导有效提示的构建、提示模板的创建和使用以及外部api的集成。它还包括测试矢量数据库的检索过程，确保AI应用程序可以准确地访问和利用相关信息。 提示执行/推理:文档详细介绍了提示执行/推理层中LLMapi的测试过程，包括对缓存机制和验证过程的测试，以优化性能和准确性。此层还包括用于检查提示和确保llm不被用于执行未经授权的操作的测试，这些操作在用例中是不允许的。 代理行为:这些是高级LLM应用程序功能。该规范概述了对快速解释，内存利用率，知识应用，计划和动作启动的测试。这包括测试集成到AI应用程序中的工具，以安全地增强其功能。 微调:通常会针对特定的下游AI应用程序对GenAI模型进行微调。本节包括数据隐私测试、基本模型选择的重新评估和模型部署，以确保AI的持续改进和相关性。 响应处理:对AI的响应、相关性、毒性和伦理考虑进行事实核查测试，以维护AI交互的可信和安全性。 AI应用程序运行时安全性:运行时安全性涉及对AI应用程序的持续实时监控。它涵盖数据保护、模型安全、基础设施安全以及审计跟踪合规性。这确保了全面的安全方法，保护AI应用程序在其整个生命周期中免受各种威胁和漏洞的侵害。 总体而言，生成式AI应用程序安全测试和验证标准文档提供了详细和结构化的方法来测试AI应用程序堆栈的每一层，确保AI应用程序的所有方面都经过严格的安全性和合规性评估。 图1:AI应用程序堆栈 2.预期受众 本文档的目标受众是参与确保生成式AI应用程序的安全性和完整性的专业人员和利益相关者。本文件特别涉及: AI安全工程师和分析师:主要负责实施和维护规范中概述的安全措施。他们评估AI应用程序的威胁，设计安全架构，并监视系统以预防，检测和响应安全事件。这些工程师还会考虑偏见和威胁。 人工智能开发人员、mlop和人工智能工程师:他们是构建、维护和自动化人工智能应用程序工作流程的人。他们使用安全规范来理解并将安全最佳实践集成到应用程序开发生命周期中。 合规官和监管专家:负责确保AI应用程序符合不断发展的法律和监管标准的专业人员使用该规范来指导合规工作，特别是在具有严格数据保护和隐私法规的行业中。 数据保护官:确保AI应用程序安全地处理数据，并遵守数据保护法律和政策。安全规范为他们提供了正确的数据管理和保护策略的指南。 IT和网络管理员:这些管理员负责AI应用程序的底层基础架构。这些专业人员将使用安全规范来保护网络，服务器和其他组件，以防止不良行为者在AI相关流程中利用的漏洞。 风险管理专业人员:评估和管理与人工智能应用相关的风险。安全规范帮助