2024年生成式人工智能安全就绪状况报告

全准备报告 04 执行摘要 10第一部分：被调查人背景与组织背景 16第二节：使用与感知 21第三节：遭遇和管理漏洞 26第四章：安全措施和最佳实践 31第五章：挑战与未来方向 36 方法论38贡献者 序言 欢迎来到2024年GenAI安全准备报告！ 随着我们步入生成式人工智能（GenAI）和大型语言模型（LLMs）的变革时代，很明显这些技术正在以深远的方式重塑商业格局。LLMs通过自然语言进行交互和执行任务的独特能力，使黑客领域实现了民主化，使其几乎对任何人来说都触手可及。这种转变突出了针对AI的细微差别制定加强安全措施的必要性。 人工智能的采用爆发正在从根本上重塑2024年的网络安全格局，为所有网络安全领导者带来了独特的挑战和新的机遇。 在保护我们的组织方面，人工智能既挑战又颠覆了我们现有的信念、方法和策略。威胁格局就在我们谈论间不断发展变化，但已经很清楚的是，人工智能让我们面临的新威胁比过去我们所见的风险更为复杂和不同。仅靠传统安全措施是无法保护我们的。我们需要在思考如何保护传统软件和未来融合的人工智能系统时，进行范式转变。 跨行业，公司们渴望探索和利用人工智能的潜力。从提升客户体验到优化运营，人工智能驱动效率和价值承诺是诱人的。然而，这种热情伴随着解决人工智能安全这一关键需求，该领域仍处于起步阶段。我们的报告强调，各组织在人工智能安全方面的准备程度差异很大，反映了这一挑战的新颖性和复杂性。 对于我们的安全领导者来说，这是重新定义我们角色的时刻。我们需要行动起来，帮助我们的组织制定一个新方案，确保我们的员工和客户的安全。Lakera的AI就绪安全报告是一个很好的起点。 与人工智能相关的风险尚未完全显现，但 tại Lakera，我們致力於引領安全人工智能創新的浪潮。我們站在這場革命的潮頭，專注於確保人工智能的益處能够夠安全負責任地享受。 乔·沙利文 我鼓励您探索这份报告，以深入了解当前的人工智能安全形势。它汇集了参与人工智能安全的不同利益相关者的观点，包括一些全球顶尖人工智能优先公司的CISO（首席信息安全官）的引言和意见。让我们一起驾驭这片不断发展的领域，建设一个安全的、由人工智能驱动的未来。 乌克兰之友首席执行官兼乔·萨利文保安公司总裁 诚挚地， 大卫·哈伯首席执行官兼联合创始人，Lakera 执行摘要 人工智能应用激增，安全准备不足 生成式人工智能（GenAI）和大型语言模型（LLM）的快速采用正在改变行业，近90%的组织正在积极实施或探索LLM用例。然而，这种采用浪潮与当前安全措施的置信度极低形成鲜明对比——只有大约5%的组织对其生成式人工智能安全框架表示高度置信。 这份报告基于对1000多名安全专业人士的调查，以及来自Lakera AI黑客游戏Gandalf的实地发现，揭示安全风险可能被低估。Gandalf是世界上最大的AI红队演练，已吸引了超过一百万用户参与，包括网络安全专家，以发现漏洞。值得注意的是，超过20万名玩家成功完成了Gandalf七级防御，展示了AI系统多么容易被利用。这些发现与调查见解相互印证，突显了制定强大的、针对AI的安全策略以应对GenAI带来的独特挑战的紧迫性。 “我对开始实施人工智能安全措施的组织建议，应在开发生命周期早期就整合人工智能红队演练实践。等到部署之后才行动，可能会让关键漏洞得不到处理。主动进行红队演练有助于在风险被利用之前识别和减轻风险，从而确保更安全的人工智能部署。 大卫·坎贝尔 规模AI的AI安全风险主管与规模化生成红队 “ 我最担心的是那些相信人工智能相关漏洞可以通过传统方法发现和修复的安全专业人士的过度自信。 网络股份公司及消费技术协会的执行董事 多样化的角色和丰富的安全经验 该调查包括超过1,000名来自广泛职位的受访者，例如开发者、安全分析师以及CISO等高管级别安全职位。这种多样性确保了从组织内不同角度全面理解GenAI安全。 值得注意的是，超过60%的受访者拥有丰富的网络安全经验，这使其见解具有可信度，并突显了驱动本报告结论的专业知识深度。 对 GenAI 的强烈采用 少数人对安全措施有信心 当前安全措施的信心水平处于中等至较低，有5%的人将其信心评为5分中的5分。对于现有安全方法在抵御复杂AI威胁方面的有效性存在不确定性，有86%的人对其当前措施持有中等或较低的信心水平。这种谨慎的做法承认了在AI特定威胁和控制方面的经验有限。 仅存在适度风险顾虑 尽管38%的受访者对GenAI/LLM漏洞相关的风险高度关注（评分为4或5），但62%的人只表现出中等到低度的关注。看到大多数受访者并不太担心，这是令人惊讶的，因为只有5%的人对自己的控制措施有很高的信心。也许他们认为模型并没有访问机密数据，但用例却表明并非如此。 编程辅助 GenAI的5大用例 3 内部知识库和搜索 数据分析 4 5 客户服务（聊天机器人） 内容创作（写作、翻译等） 生成式人工智能模型容易被攻破 拉基拉（Lakera）的AI黑客游戏Gandalf，展示了这些漏洞的实际应用。这款拥有超过一百万玩家（包括网络安全专业人士）的游戏揭示了GenAI系统是多么容易被利用——20万玩家成功通过了游戏的第七关。第七关模拟了最受欢迎的GenAI模型中嵌入的典型安全控制。这个模拟展示了操控AI模型执行非预期操作的可能性。 人们快速进化黑客技术 创造力可以超越通用人工智能 前七个等级可以在短短45分钟内突破——通常时间更短。 4000万独一无二的提示和猜测证明。 这些发现强调了应对人工智能特定安全领域差距的紧迫性，明确表明仅有关注是不够的—采取行动是当务之急。 对于刚开始实施人工智能安全措施的组织，你会给出什么建议？ 这是我们的专家回答的： nist人工智能风险管理及针对大型语言模型的owasp十大风险已证明是一个不错的起点，但每一种生成式人工智能都是不同的，其风险是由提示驱动的。 存在大量可以通过正确的上下文来识别的“未被发现的风险”。 两点要注意： 1. “一个好的工具永远不会像它的制造者那样好，这有助于使生成式 AI 工具变得更好”。2. “这个工具的有效性只取决于使用它的人的头脑”一个好的 AI 网络安全策略始于雇佣正确的技能。 阿维纳什·辛哈GE医疗保健公司资深员工网络安全 如果你在人工智能安全如何或在哪里开始方面遇到困难，可以利用我们共同开发的公共资源和行业、政府及学术人工智能安全领导者社区。在ATLAS社区中，有超过100家不同的组织参与进来，我们正共同努力分享情报、描述并缓解这些针对人工智能系统而快速演变的威胁。 克里斯蒂娜·里亚加蒂博士麻省理工学院 MITRE ATLAS 首席和值得信赖及安全人工智能部门 先停一停，想一想，再计划一下，再 jumped in。随着AI变得无处不在，信息安全专业人员可能会面临大量内容和资源需要处理，我们需要找到一个务实的出发点。专注于一个主题，制定计划，并按照计划执行，而不是试图一次性做所有的事情。 当事人背景及组织环境 理解调查受访者的背景对于将本报告中提供的见解置于具体情境中至关重要。 受访者角色的多样性、经验和组织背景为全面了解各行业当前GenAI安全准备状况提供了视角。 关键洞察 谁是被告？ 拥有超过1000名受访者，“2024年GenAI安全准备度调查”代表了GenAI和网络安全领域内广泛的角色和经验水平。这种多样性确保了调查结果能够反映各种观点和专业知识。 主要角色 这项调查包括相当数量的开发者（20%）、安全分析师（17%）以及使用AI/LLM的商业用户（15%）。值得注意的是，9%的受访者担任高管级安全职位，例如CISO，这突显了GenAI安全在最高组织层级中的战略重要性。 网络安全经验 大多数受访者具备丰富的网络安全经验，超过60%的受访者拥有五年以上的经验。 这种经验的深度凸显了他们见解的可信度以及报告中所呈现数据的有效性。 在开发和保护人工智能方面的经验 尽管许多受访者拥有丰富的网络安全经验，但数据显示，相当一部分人仍在开发和安全保障基于AI的软件方面建立专业知识。 这是一个自然的进程，因为人工智能在过去的1.5年中才成为主流，并迅速地改变着各个行业。尽管这项技术相对较新，才开始被广泛采用，但它已经研发了相当长的一段时间。 正持续弥合传统网络安全与新兴人工智能安全需求之间差距的努力，反映了人们日益认识到人工智能带来的独特挑战，以及随着人工智能的不断发展，致力于制定强大的安全措施。 确保人工智能系统面临的最大障碍是明显的可见性差距，尤其是在使用第三方供应商时。理解机器学习流程的复杂性以及对抗性机器学习的细微差别增加了这一挑战。组建一个强大的跨职能机器学习安全团队很困难，需要来自不同背景的专业人士来创建全面的安全场景。此外，模型故障的反应时间和影响范围，特别是误导性聊天机器人，可能导致昂贵的后果。 组织背景 受访者来自不同规模和行业的组织，为GenAI安全挑战提供了全面的视角 组织规模 46% 少于50名员工 27% 超过5000名员工 27% 其他人 该调查从中小企业到大公司捕获了来自不同规模组织的回复。具体而言，46%的受访者来自员工人数少于50人的组织，而27%来自员工人数超过5000人的大型组织。这种多样性突出了基于组织规模的不同挑战和GenAI安全方法。 行业代表 受访者分布于几个关键行业，其中技术行业（57%）占比最高。其他重要行业包括教育（12%）、金融（8%）、政府/公共部门（6%）和医疗保健（4%）。这种跨行业的代表性确保了洞察适用于广泛的背景，而不仅限于单一行业。 8%金融 4%医疗保健 13%其他人 重点和对比 人工智能安全功能差异 最令人瞩目的发现之一是，在组织之间专门的AI安全功能的配备上存在显著差异。 虽然58%的组织缺乏专门的AI安全职能，但只有12%拥有专门的AI安全团队。这个差距凸显了一个关键的待发展领域，尤其是随着GenAI技术越来越成为业务运营的组成部分。 内部专业人才稀缺 内部专业知识的稀缺是一个突出的挑战，特别是对于较小的组织。较大的组织更有可能拥有专业的AI安全团队，28%的大型组织拥有专门的团队，而只有6%的小型组织拥有。这种差异突显了需要易于获取的安全工具和服务，以帮助弥合各种规模组织的专业知识差距。 跨行业差异 各行业在安全准备程度和安全措施的采用程度上存在显著差异。例如，占受访者8%的金融行业更倾向于严格的安全实践，其中20%的组织拥有专门的AI安全团队，27%的组织将其准备程度评为最高水平（5分中的4分或5分）。 相比之下，教育领域（占受访者12%）仅有9%的组织设有专门的AI安全团队，且仅15%将其准备程度评为最高水平。这些对比凸显了不同行业面临的紧迫程度和监管压力的差异。 跨行业差异 结论 “2024年‘生成式人工智能安全准备调查’的多样化且经验丰富的受访者群体为报告中提出的见解和建议奠定了坚实的基础。通过收集来自不同角色、行业和组织规模的观点，调查结果为当前生成式人工智能安全准备状态提供了全面的视角。这种多样化的代表性确保了报告后续章节既可信又相关，为希望提升其生成式人工智能安全措施的机构提供了宝贵的指导。 目前确保人工智能系统最大的障碍之一是工程师和安全团队知识匮乏。大量人员在不了解这些组件实际工作原理或LLM非确定性对授权等概念的影响的情况下，正在构建使用LLM的系统。这使得确保系统的安全性与传统组件相比，是一个根本不同的挑战。 李耐云安全.ai的ciso 我们目前最大的障碍是知识和经验。人工智能/大语言模型安全是一个如此新的领域，以至于我们团队里没有一个人是我们可以认为是“专家”的。我很幸运能和一些才华横溢的人一起工作，但我们的集体人工智能知识是分散的。这就像我们试图拼图，但我们丢失了盒子，并且把碎片分给了具有不同技能和不同优先级的不同团队。 使用