2024年AI安全报告

人工智能革命已经到来。了解企业人工智能采用的要点趋势、风险和最佳实践，深入了解由人工智能驱动的威胁及其关键防御策略。 目录 23 AI驱动恶意软件和勒索软件贯穿攻击链 24 AI蠕虫攻击和“病毒性”AI越狱 25 人工智能与美国家政选举 03执行摘要 04 主要发现 05 人工智能和机器学习关键应用趋势 26 全世界目光聚焦于人工智能法规 07141505 人工智能交易持续加速企业正在阻止比以往任何时候都多的AI交易。行业AI分解09 医疗保健与人工智能金融1011 政府12 制造业教育与人工智能ChatGPT使用趋势人工智能使用情况按国家分类地区分解：EMEA区域分布：亚太地区 26 美国 27 欧洲联盟 28 人工智能威胁预测 31案例研究：如何在企业中安全地启用ChatGPT 31 5 Steps to integrate and secure generative AI tools 33如何Zscaler实现人工智能+零信任并保障生成式人工智能安全 33 AI驱动网络安全的关键：大规模的高质量数据34 利用AI贯穿攻击链35 Zscaler AI增强解决方案概览36 启动企业AI转型：掌控权在你手中 企业人工智能风险与现实威胁场景分析 企业中启用人工智能：前三大风险20 AI驱动的威胁场景AI模拟：深度伪造、虚假信息等21 AI生成的网络钓鱼活动从查询到犯罪：使用ChatGPT创建网络钓鱼登录页面22 暗网聊天机器人：揭露暗网上的WormGPT和FraudGPT 37 附录 关于 Zscaler ThreatLabz 的 37 条信息37 ThreatLabz 研究方法论 执行摘要 AI不仅仅是一次开创性的创新——它现在已成为一种常态。随着生成式AI工具如ChatGPT以大或小的方式改变商业，AI正在深深地融入企业生活的方方面面。然而，关于如何在防御AI驱动的威胁的同时安全采用这些AI工具的问题，尚未得到解决。 企业正在迅速采用人工智能和机器学习工具，跨越工程、IT、市场营销、财务、客户成功等多个部门。然而，他们必须平衡与人工智能工具相关的众多风险，以获得最大的收益。确实，为了释放人工智能的变革潜力，企业必须启用安全控制，以保护他们的数据，防止敏感信息泄露，减轻“影子人工智能”蔓延，并确保人工智能数据的质量。 从2023年4月至2024年1月，Zscaler Zero Trust Exchange™ 超过180亿笔交易中，ThreatLabz 分析了企业目前如何使用人工智能和机器学习工具。这些洞察揭示了企业在适应不断变化的AI格局和保障其AI工具方面的关键趋势，涉及不同商业领域和地理区域。 在整个报告过程中，您将发现对当前最关注的AI主题的洞察，包括商业风险、由AI驱动的威胁情景和对手策略、监管考量，以及对2024年及以后AI领域前景的预测。 这些人工智能对企业造成的风险是双向的：在企业外部，人工智能已成为网络威胁的驱动力。确实，人工智能工具正在使网络犯罪分子和受国家支持的威胁行为者能够更快、更大规模地发起复杂攻击。尽管如此，人工智能作为网络安全防御谜题的关键部分，在企业应对动态威胁环境时仍具有潜力。 同样关键的是，本报告在两个前沿领域提供了最佳实践：企业如何安全地拥抱生成式AI的转型同时保护关键数据，以及AI驱动的工具如何努力提供分层、零信任的安全措施，以应对由AI驱动的威胁的新格局。 最广泛使用的按交易量计算的AI应用是ChatGPT, Drift, OpenAI*, Writer, 和 LivePerson.顶级三项被拦截的应用程序通过交易量是ChatGPT, OpenAI, 和 Fraud.net. 人工智能/机器学习工具的使用增长了594.82%。从2023年4月的5.21亿AI/ML驱动的交易量增长至2024年1月的每月31亿次。 企业正在拦截18.5%的所有人工智能/机器学习交易——与九个月前相比，拦截交易增加了577%。反映了对人工智能数据安全日益增长的担忧以及公司不愿制定人工智能政策的抵触情绪。 前五名国家生成最多AI和ML交易的地区是美国、印度、英国、澳大利亚和日本。 企业正向人工智能工具发送大量数据，总计569 TB。2023年9月与2024年1月之间在人工智能/机器学习应用之间交换的。 制造业产生了最多的AI流量，在Zscaler云中占所有AI/ML交易的20.9%。随后为金融和保险（19.9%）及服务行业（16.8%）。 ChatGPT的使用持续飙升，with 634.1% 增长，尽管它也是被封锁得最多的AI应用。企业基于Zscaler云洞察。 人工智能正在以前所未有的方式赋予威胁行为者力量。包括针对AI驱动的钓鱼活动、深度伪造和社会工程攻击、多态勒索软件、企业攻击面发现、自动化漏洞生成等。 关键通用人工智能和机器学习应用趋势 企业人工智能革命远未达到顶峰。企业人工智能交易增长了近600%，并且没有减缓的迹象。然而，被阻止的交易到人工智能应用也增加了——增长了577%。 人工智能交易持续加速 从2023年4月到2024年1月，企业人工智能和机器学习交易增长了近600%，到1月，Zero Trust Exchange的月度交易量已超过30亿笔。这凸显了这样一个事实：尽管随着企业人工智能的采用，安全事件和数据风险的数量不断上升，但其变革潜力仍然不容忽视。值得注意的是，尽管在12月假日期间人工智能交易出现了一段短暂的低迷，但到2024年年初，交易速度反而加快。 尽管人工智能应用日益普及，然而，大部分人工智能交易仍由相对少数的市场领先人工智能工具驱动。总体而言，ChatGPT占所有人工智能和机器学习交易的一半以上，而OpenAI应用程序本身位列第三，占所有交易的7.82%。与此同时，流行的AI聊天机器人Drift产生了近五分之一的商业人工智能流量（LivePerson和BoldChat Enterprise聊天机器人也跻身前五和第六位）。同时，Writer继续成为创建书面企业内容（如营销材料）中受欢迎的生成式人工智能工具。最后，常用于视频通话的AI转录工具Otter推动了大量人工智能流量。 与此同时，企业通过AI工具发送和接收的数据量，为这些趋势增添了细微差别。被称为“AI的GitHub”的开源AI开发者平台Hugging Face，占到了企业通过AI工具传输的数据量的近60%。由于Hugging Face允许用户托管和训练AI模型，因此它从企业用户那里捕获大量数据是有道理的。 虽然ChatGPT和OpenAI如预期地出现在这个名单上，但两个引人注目的新加入者是Veed——一个常用于为视频添加字幕、图像和其他文本的人工智能视频编辑器——以及Fotor，一个可用于生成AI图像的工具等。由于视频和图像相较于其他类型的请求涉及更大的文件大小，这两款应用被呈现出来并不令人意外。 企业比以往任何时候都在拦截更多的AI交易。 尽管企业对人工智能（AI）的采用持续激增，但由于数据和安全方面的担忧，组织越来越多地阻止AI和机器学习（ML）交易。今天，企业阻止了所有AI交易的18.5%，从4月到1月增长了577%，共计超过26亿次阻止交易。 一些最受欢迎的AI工具也是被封锁得最多的。确实，ChatGPT既有最高使用率也有最高封锁率的AI应用。这表明，尽管——甚至可能正因为这些工具的流行，企业正积极努力确保其使用不会导致数据丢失和隐私问题。另一个值得注意的趋势是bing.com，该功能具备人工智能辅助的Copilot功能，从四月到一月被禁止。事实上，bing.com占所有被阻止的AI和ML领域交易的25.02%。 01020304050607080910必应搜索Divo.aiDrift.comQuillbot.comCompose.aiOpenai.comQortex.aiSider.aiTabnine.comsecuriti.ai 01020304050607080910ChatGPTOpenAIFraud.net前瞻性拥抱脸聊天机器人艾沃Neevainfeedo.ai贾斯珀 图5 按交易量统计的主要被阻止的人工智能应用和领域 行业AI分解 企业行业垂直领域在整体采用AI工具以及他们阻止的AI交易比例方面显示出显著差异。制造业无疑是领导者，在零信任交易所中驱动了超过20%的AI和机器学习交易。然而，金融和保险、科技及服务行业紧随其后。这四个行业共同领先其他行业，成为最具侵略性的AI采用者。 确保人工智能/机器学习交易 与人工智能交易量的急剧上升相伴，行业部门正在阻止更多的AI交易。在此，某些行业与它们的整体采用趋势不同，反映了在确保AI工具方面的不同优先级和成熟度水平。例如，金融和保险行业阻止了最大比例的AI交易：37.2%，而全球平均水平为18.5%。这很可能在很大程度上是由于该行业严格的监管和合规环境，以及这些组织处理的高度敏感的财务和个人用户数据。 同时，制造业阻挡了15.7%的AI交易，尽管它在推动整体AI交易中扮演着不成比例的角色。科技行业，作为最早和最热衷于采用AI的行业之一，采取了一种中间路线，阻挡了平均以上的19.4%的AI交易，同时努力扩大AI的采用。令人惊讶的是，尽管这些组织处理了大量的健康数据和可识别的个人信息（PII），医疗保健行业阻挡的AI交易比例却低于平均水平，仅为17.2%。这一趋势可能反映了医疗保健组织在保护涉及AI工具的敏感数据方面的努力滞后，因为安全团队正在追赶AI创新。总体而言，医疗保健领域的AI交易相对较低。 医疗保健与人工智能 人工智能医疗健康领域的进展关键指标 排名为第六大AI/ML用户，医疗行业阻挡了所有AI/ML交易的17.23%。 尽管医疗保健行业在实施像人工智能这样的创新时通常比较谨慎，正如其在Zscaler云中AI/ML流量的5%贡献率所显示的那样，但人工智能对医疗运营、患者护理以及医学研究和创新产生更大影响只是时间问题。1 确实，人工智能（AI）承诺不仅能节省时间，还能挽救生命。目前，AI驱动的技术正在提升诊断和病人护理。通过以惊人的准确性分析医学图像，AI帮助放射科医生更快地检测到异常，并促进更快的治疗决策。2 06Zineone07Securiti08Pypestream09混合10VEED 01ChatGPT02漂移03OpenAI04作者05对讲机 潜在的利益是巨大的。人工智能算法可以利用患者数据来个性化治疗方案，并通过高效分析生物数据来加速药物发现。此外，使用生成式人工智能还可以自动化行政任务，从而减轻人手不足的医疗团队的工作负担。这些进步凸显了人工智能在改变健康提供和医疗服务提供方面的能力。 关键医疗风险： 医疗组织应认可与人工智能相关的潜在风险和挑战，包括对数据隐私和安全性的担忧，尤其是个人可识别信息（PII）的相关问题，以及确保人工智能算法及其输出来帮助护理管理时具有极高的可靠性且无偏见。 金融与人工智能 在总AI/ML使用量排名第二的情况下，金融行业封锁了所有AI/ML流量的37.16%。 金融机构押注人工智能 金融服务公司一直是人工智能时代的早期采纳者，该行业在Zscaler云中的AI/ML流量中占近四分之一。更重要的是，麦肯锡预计，来自银行业生成式人工智能项目的潜在年收入将达到2000亿美元至3400亿美元，这主要得益于生产力的提升。3人工智能在字面上代表着为银行和金融服务带来的丰富机遇。 金融领域的顶级AI应用： 01ChatGPT02漂移03OpenAI04BoldChat 企业05LivePerson 06作者07拥抱脸08奥特人工智能09Securiti10对讲机 尽管人工智能驱动的聊天机器人和虚拟助手在金融领域并非新事物（美国银行于2018年推出了“Erica”），生成式人工智能的增强功能正在将客户服务工具提升到新的个性化水平。其他人工智能能力，如预测建模和数据分析，也正准备为金融