生成式AI和LLM的快速采用与安全准备的不足形成鲜明对比。近90%的组织正在积极实施或探索LLM用例,但只有约5%的组织对其生成式AI安全框架表示高度自信。调查发现,安全风险可能被低估,超过20万名玩家成功完成了Gandalf七级防御,展示了AI系统多么容易被利用。
超过60%的受访者拥有丰富的网络安全经验,但数据显示,相当一部分人仍在开发和安全保障基于AI的软件方面建立专业知识。大多数组织尚未遇到GenAI/LLM漏洞,这可能表明安全措施有效,或者更令人担忧的是,缺乏检测能力。
组织在GenAI/LLM采用方面处于不同阶段,从暂无计划到主动使用和实施,这反映了它们对这些技术浓厚的兴趣,以及它们整合过程中伴随的挑战。组织正在使用或计划使用GenAI/LLMs用于各种目的,包括数据分析、编程辅助、内容创作、内部知识库和搜索,突出了这些技术的多功能性和广泛适用性。
尽管对采用GenAI/LLM的热情显而易见,但对为保护这些技术而实施的安防措施的信心则较为一般。绝大多数受访者(44%)将其当前安全措施的信心程度评为中等水平(5分中的3分),这表明虽然组织认识到安全的重要性,但它们对所采取的措施是否足以跟上不断变化的威胁存在着潜在的不确定性。
组织面临着若干重大挑战,必须解决这些挑战以确保顺利和安全地采用GenAI/LLM,包括数据隐私和安全、LLM输出的可靠性和准确性、缺乏专业人员以及复杂情感安全措施。
超过5年经验的受访者中,42.1%的人高度关注与LLM相关的风险,这表明对安全挑战的更深入的知识和理解会导致更高的意识和担忧,强调了在管理LLM安全方面需要经验丰富的人员。
大多数受访者(91%)表示,他们的组织在过去一年中并未经历过任何GenAI/LLM漏洞。然而,对于那些遇到过的情况,这些经验为这些漏洞的类型和影响提供了宝贵的见解。最常报告的问题是有偏见的结果、AI/LLM输出的滥用、未经授权访问和模型操作或篡改。
GenAI/LLM漏洞的影响差异很大,从轻微的运营中断到严重的后果,例如法律和监管影响。最常见的影響是轻微的操作中斷,36%的遇到漏洞的人經歷了這種情況。这表明虽然漏洞会造成中斷,但它們通常是可以管理的。
组织对漏洞的响应时间表明了它们在管理生成式人工智能安全风险方面的准备情况和敏捷性。有44%的受访者表明他们立即处理了最严重的漏洞,在24小时之内。这种快速响应对于将潜在损害降至最低至关重要。然而,20%的人报告说最严重的漏洞仍未得到充分解决,这凸显了响应能力方面存在重大差距。
各组织已采用多种安全实践,以防范与生成式人工智能技术相关的不断演变的威胁。这些实践包括访问控制机制、数据加密、定期安全审计、渗透测试、安全开发实践以及人工智能特定威胁建模。然而,像AI特定威胁建模和AI安全开发这样的实践则不太常见。
组织缺乏正式的GenAI/LLM安全政策,这突显了一个关键改进领域。紧跟最新的安全威胁和漏洞对于保持有效的GenAI安全至关重要。许多组织中缺乏正式政策,这突显了一个关键的发展领域。为确保强大的GenAI安防,组织必须持续强化其安全框架,投资于持续学习,并促进内外部的协作。
组织应对新兴GenAI/LLM安全挑战的自我评估准备水平各不相同,反映了它们安全框架的成熟阶段不同。对数据隐私的高度关注与中等水平的准备程度形成鲜明对比。这种差异表明,虽然组织意识到了风险,但许多组织仍在制定有效缓解策略的早期阶段。一个显著的发现是,在20%准备最不充分的受访者中,64.9%正在积极实施LLMs。这种积极主动但准备不足的方法凸显了这些组织加强安全措施以防止潜在漏洞和风险的紧迫性。