大型语言模型 （ LLM ） 威胁性分类

大型语言模型(LLM)威胁分类 AI控制框架工作组的永久和正式位置是https://cloudsecurityalliance.org/research/working-groups/ai-controls ©2024云安全联盟-保留所有权利。您可以在计算机上下载、存储、显示、查看、打印和链接到云安全联盟，网址为https:/ /clodsecrityalliace。(a)该草案只能用于您的个人、信息、非商业用途；(b)该草案不得以任何方式修改或更改；(c)该草案不得重新分发；(d)商标、版权或其他通知不得删除。您可以在美国版权法的合理使用条款允许的情况下引用草案的部分内容，前提是您将这些部分归因于云安全联盟。 Acknowledgments 主要作者 SiahBurkeMarcoCapotondi DanieleCatteduKenHuang 贡献者 MarinaBregkou VidyaBalasubramanianAvishay 酒吧 MonicaChakrabortyAntonChuvakinRicardoFerreiraAlessandroGrecoKrystalJacksonGianKapoor KushalKumarAnkitaKumariYutaoMaDannyManimboVishwasManralJesusLunaMichaelRozaLarsRuddigheitDorSarig AmitSharmaRakeshSharmaKurtSeifriedCalebSimaEricTierlingJenniferToren RobvanderVeerAshishVashishthaSounilYu 丹尼斯·徐 审稿人 PhilAlgerIlangoAllikuzhiBakrAbdouhVinayBansalVijayBolinaBrianBrinkley 阿努帕姆·查特吉·杰森·克林顿 AlanCurranSandyDunnDavidGeeZackHamiltonVicHargraveJerryHuangRajeshKambleGianKapoorRicoKomendaVaniMittalJasonMortonAmeyaNaik GabrielNwajiakuMeghanaParwatePrabalPathakRuchirPatwaBrianPendletonKunalPradhan MattRoldanOmarSantos博士 JoshuaScarpinoNataliaSemenovaBhuvaneswariSelvaduraiJamillahShakoor博士 TalShapiraAkram警长 斯里尼瓦斯·塔蒂帕穆拉·玛丽亚（MJ）施温格·马哈茂德·扎马尼·拉斐尔·齐姆 目录 ................................................................................................................................................................................3 ........................................................................................................................................................................4 .........................................................................................................................................................................................5 ..................................................................................................................................................................................6 1.7 1.1.7 1.2.LLM-Ops云环境9 1.3.模型1 1.4.编排服务11 1.5.AI应用程序13 2.15 2.1............................................................................................................................................................................1 2.217 2.318 2.420 2.522 2.624 3.26 4.26 4.1.26 4.2.27 4.3.27 4.4.27 4.5.27 4.6.27 4.7.27 4.8.28 4.9.28 5.29 目标和范围 本文档由云安全联盟(CSA)人工智能(AI)控制框架工作组在CSAAI安全倡议的背景下撰写。它为与大型语言模型（LLM ）的风险场景和威胁相关的关键术语建立了通用分类和定义。目标是提供一个共享的语言和概念框架，以促进行业内的沟通和协调，并在CSAAI安全倡议的背景下支持其他研究。更具体地说，这些定义和分类法旨在帮助CSAAI控制工作组和CSAAI技术和风险工作组不断努力。 在这项工作中，我们专注于以下元素的定义（参见图1）： ●LLM资产 ●LLM-服务生命周期 ●LLM-服务影响类别 ●LLM-服务威胁类别 图1：CSALLM威胁分类 这些定义和分类法反映了对现有文献的广泛审查，以及工作组成员和共同主席之间的会议和讨论。通过这次合作活动，出现了强烈的共识，建立了一套指导我们集体努力的基础通用术语。 本文档从文档末尾引用的许多行业参考文献中汲取了灵感，最著名的是NISTAI100-2E2023，标题为“对抗性机器学习 ：攻击和缓解的分类法和术语”[Barrett等人，2023]。 有了这些定义和分类法，关于评估AI威胁和风险、制定适当的控制措施以及管理负责任的AI开发的对话可以在不同的CSA团体和利益相关者之间更加清晰和一致。建立一个共同的术语可以减少混淆，有助于连接相关概念，并促进更精确的对话。本文件将关键术语整合到一个中央参考中，目的是在CSAAI安全计划中协调AI控制工作组和AI技术与风险工作组。 与CSAAI控制框架的关系 CSA人工智能控制框架工作组的目标是定义一个控制目标框架，以支持组织安全和负责任地开发、管理和使用人工智能技术。该框架将有助于评估风险并定义与生成人工智能(GenAI)相关的控制，特别是LLM。 控制目标将涵盖与网络安全相关的方面。此外，它将涵盖与网络安全相关的安全、隐私、透明度、问责制和可解释性方面。请查看CSA的博客文章，探讨AI安全和AI安全之间的差异和共性。 通过关注企业对企业的影响，CSAAI控制框架补充了政府在保护国家安全、公民权利和执法方面的努力，倡导符合全球标准和法规的安全和道德的AI应用。 1例如欧盟人工智能法案、美国人工智能安全研究所(USAISI)等。 1.大型语言模型资产 本节定义了实现和管理LLM系统所必需的基础组件，从对训练和微调这些模型至关重要的详细数据资产到复杂的LLM-Ops环境，确保AI系统的无缝部署和运行。此外，本节阐明了LLM的意义、架构、功能和优化技术（参见图2）。此外，本节探讨了资产保护的重要方面，利用负责任、负责任、咨询、知情(RACI)矩阵来描述开源社区和组织实施人工智能服务的责任。 图2：LLM资产 1.1.数据资产 在LLM服务中，许多资产在塑造服务的功效和功能方面发挥着不可或缺的作用。 ●用于训练、基准测试、测试和验证的数据 ●用于微调训练的数据 ●用于检索增强生成(RAG)的数据 ●定义数据元数据的数据卡 ●输入数据 ●用户会话数据 ●模型输出数据 ●模型参数（权重） ●模型超参数 ●LLM系统的日志数据以下是这些资产的定义： 1.培训、基准测试、测试和验证数据：这包括用于训练、基准测试、测试和验证模型的数据集，包括文本源，模型从中获得对语 言模式的洞察，以及对模型质量必不可少的语义。 2.微调训练数据：额外的数据被用来在初始训练后对模型进行微调或进一步预训练。这有助于对模型的参数进行调整 ，以更紧密地与特定的用例或领域保持一致，从而增强其适应性和准确性。 3.检索增强生成(RAG)：将外部知识库与LLM集成。通过在生成响应之前检索相关信息，RAG使LLM能够有效地利用模型知识和外部知识。RAG可以从各种来源（包括内部系统和Iteret等公共来源）检索补充数据，丰富输入提示并完善模型的上下文理解，以产生更高质量的响应。 4.数据卡:需要维护LLM中用于各种目的的数据集的元数据。这有助于管理AI数据，并为所使用的每个数据集提供沿袭、可追溯性、所有权、数据敏感性和合规性制度。随着数据、所有权或要求的变化，存储数据卡并不断更新对于维护合规性和可见性至关重要。 5.输入数据(系统级提示):TheinputdataisprovidedtosetthecontextandboundariesaroundLLMsystems.Thesedatasetareadditionallyusedtosettopicboundariesandguardrailsincaseofadvertarialgeneration. 6.用户会话数据:在用户与AI系统交互期间积累的信息，包括输入查询、模型生成的响应以及用户提供的任何补充上下文 ，促进个性化交互。 7.模型输出数据:模型响应输入提示而生成的结果输出，包含文本响应、预测或其他形式的处理数据，反映了模型的理解和推理能力。 8.模型参数（权重）：模型在训练过程中获得的内部参数或权重，描述其行为并对其产生和上下文相关响应的能力产生深远的影响。 9.模型超参数:在模型训练期间指定的配置或设置，包括学习率、批量大小或架构选择等参数，对于塑造模型的整体性能和行为至关重要。 10.日志数据:记录的数据封装了模型运行期间的各种事件和交互，包括输入提示、模型响应、性能指标以及任何遇到的错误或异常，有助于监控和改进模型的功能和性能。 1.2.LLM-Ops云环境 LLM-OpsEnvironment包含部署和操作LLM所涉及的基础架构和流程。以下要点是与此环境相关的关键术语： ●云运行训练环境 ●云运行模型推理点 ●运行AI应用程序的云 ●混合和多云基础架构 ●部署环境的安全性 ●连续监测 ●云托管培训数据（存储） ThesignificanceandessenceofeachoftheaboveassetwithintheframeworkoftheLLM-OpsEnvironmentisdescribedbelow: 1.云运行训练环境：这表示云平台或服务提供商受托托管和管理计算资源、存储设施和辅助基础设施，这些基础设施对于训练LLM至关重要。它是模型进行迭代改进和增强的开发空间。 2.云运行模型推理点：这封装了云平台或服务提供商，其任务是托管和管理部署LLM和促进推理过程所不可或缺的计算资源、存储解决方案和相关基础设施。它使模型能够基于用户输入生成响应，确保无缝交互和响应。 3.运行AI应用程序的公共/私有/混合云：这是指托管和监督运行AI应用程序或AI服务所必需的基础架构的云平台或服务提供商，利用经过训练的语言模型的功能。它是AI驱