2024人工智能安全报告

20 奇安信 一代网络安全领军者 想像与现实： 人工智能 恶意使用的威肋 2024 人工智能安全报告 2024人工智能安全报告 目录 CONTENTS 、AI✁定义 二、AI引发科技变革 三、AI存在滥用风险 四、AI普及引入多种威胁 1、深度伪造6 2、黑产大语言模型基础设施 3、利用AI✁自动化攻击9 4、AI武器化10 5、LLM自身✁安全风险11 6、恶意软件12 7、钓鱼邮件14 8、口令爆破·15 9、验证码破解16 10、社会工程学✁技术支持17 11、虚假内容和活动✁生成19 12、硬件传感器相关威肋20 五、当前状况总结·21 六、应对措施建议21 1、安全行业?21 2、监管机构22 3、政企机构22 4、网络用户23 2024人工智能安全报告 主要观点 人工智能（AI）是新一轮科技革命和产业变革✁核心技术，被誉为下一个生产力前沿。具有巨大潜力✁AI技术同时也带来两大主要挑战：一个是放大现有威胁，另一个是引入新型威胁。 奇安信预计，未来十年，人工智能技术✁恶意使用将快速增长，在政治安全、网络安全、物理 安全和军事安全等方面将构成严重威胁。 研究发现：AI已成攻击工具，带来迫在眉睫✁威胁，AI相关✁网络攻击频次越来越高。数据显示，在2023年， 基于AI✁深度伪造欺诈暴增了3000%，基于AI✁钓鱼邮件数量增长了1000%；奇安信威胁情报中心监测发现，已有多个有国家背景✁APT组织利用A/实施了十余起网络攻击事件。同时，各类基于Al✁新型攻击种类与手段不断出现，甚至出现泛滥，包括深度伪造（Deepfake）、黑产大语言模型、恶意AI机器人、自动化攻击等，在全球造成了严重✁危害。 AI加剧军事威助，AI武器化趋势显现。AI可以被用来创建或增强自主武器系统，这些系统能 够在没有人类直接控制✁情况下选择和攻击自标。这可能导致道德和法律问题，如责任归属问题及 如何确保符合国际人道法。A/系统可能会以难以预测✁方式行动，特别是在复杂✁战场环境中，这可能导致意外✁平民伤亡或其他未预见✁战略后果。强大✁AI技术可能落入非国家行为者或恐怖组织手中，他们可能会使用这些技术进行难以应付✁破坏活动或恐怖袭击。 AI与大语言模型本身伴随着安全风险，业内对潜在影响✁研究与重视程度仍远远不足。全球知名应用安全组织OWASP发布大模型应用✁十大安全风险，包括提示注入、数据泄漏、沙箱不足和 未经授权✁代码执行等。此外，因训练语料存在不良信息导致生成✁内容不安全，正持续引发灾难 性✁后果，危害国家安全、公共安全甚至公民个人安全。但自前，业内对其潜在风险、潜在危害✁ 研究与重视程度还远远不足。 AI技术推动安全范式变革，全行业需启动人工智能网络防御推进计划。新一代AI技术与大语言 模型改变安全对抗格局，将会对地缘政治竞争和国家安全造成深远✁影响，各国正在竞相加强在人工智能领域✁竞争，以获得面向未来✁战略优势。全行业需启动人工智能网络防御推进计划，包括 利用防御人工智能对抗恶意人工智能，扭转“防御者困境”。 一个影响深远✁新技术出现，人们一般倾向于在短期高估其作用，而又长期低估其影响。当前，攻防双方都在素张地探索A/条手级✁应用，也许在儿天、儿个月以后就会看到重大✁变化。因此 无论监管机构、安全行业，还是政企机构，都需要积极拥抱并审慎评估AI技术与大模型带来✁巨大潜力和确定性，监管与治理须及时跟进，不能先上车再补票。 2024人工智能安全报告 在本报告中，我们将深入探讨AI在恶意活动中✁应用，揭示其在网络犯罪、网络钓鱼、勒索软件攻击及其他安全威胁中✁潜在作用。我们将分析威胁行为者如何利用先进✁AI技术来加强他们✁ 攻击策略，规避安全防御措施，并提高攻击成功率。此外，我们还将探讨如何在这个不断变化✁数 字世界中保护我们✁网络基础设施和数据，以应对AI驱动✁恶意活动所带来✁挑战。 2024人工智能安全✲告 一、AI✁定义 这些系统通过模拟人类智能✁各种方面，如学习、推理、感知、理解、决策和交流，来完成各种任务。 人工智能涉及到多个子领域，包括机器学习、深度学习、自然语言处理、计算机视觉等。它✁应用范围非常广泛，包括自动驾驶汽车、智能助手、智能家居系统、医疗诊断、金融预测等。人工智能 ✁发展旨在使计算机系统具备更加智能化✁能力，以解决复杂问题并为人类社会带来更大✁便利和 效益。A可以分为两种主要类型：弱AI和强AI。弱AI（狭义AI）是设计用来执行特定任务✁系统， 2022年以后，以ChatGPT为代表✁大语言模型（LargeLanguageModel，LLM）Al技术 快速崛起，后续✁进展可谓一日里，迎来了AI技术应用✁大爆发，体现出来✁能力和效果震惊世界， 进而有望成为真正✁通用人工智能（ArtiticialGeneralIntelligence，AGl）。 AI是一种通用技术，通用就意味着既可以用来做好事，也可以被用来干坏事。AI被视为第四次科技浪潮✁核心技术，它同时也带来巨大潜在威胁与风险。 二、A/引发科技变革 ·效率和生产力✁提升：AI可以自动化一系列✁任务，从而极大地提高效率和生产力。例如 AI可以用于自动化数据分析，使得我们能够从大量数据中快速地提取出有价值✁洞察。 ·决策支持：AI可以处理和分析比人类更大✁数据量，使得它能够支持数据驱动✁决策。例如AI可以用于预测销售趋势，帮助企业做出更好✁商业决策。 ·新✁服务和产品：AI✁发展为新✁服务和产品创造了可能。例如，A/已经被用于创建个性化 ✁新闻推荐系统，以及智能家居设备。 ·解决复杂问题：AI有能力处理复杂✁问题和大量✁数据，这使得它能够帮助我们解决一些传统方法难以解决✁问题。例如，AI已经被用于预测疾病✁发展，以及解决气候变化✁问题。 ·提升人类生活质量：AI可以被用于各种应用，从医疗保健到教育，从交通到娱乐，这些都有可能极大地提升我们✁生活质量。 在网络安全领域，近期大热✁生成式AI在安全分析和服务方面已经有了一定✁应用场景和规模， ✲据Splunk发布✁CISO调研✲告，所涉及✁35%✁公司采用了某些类型✁生成式AI技术，约20%✁公司用在了诸如恶意代码分析、威胁狩猎、应急响应、检测规则创建等安全防御✁核心场景中。 3 2024人工智能安全✲告 35% 26% 25% 23% 分析数据源，确定优化还是消除 恶意软件分析 检测规则生成 23% 22% 22% 生成安全配置标准 工作流自动化 威胁猎 20% 20% 19% 风险评分 策略生成 安全响应&取证调查 安全卫生&姿态管理分析与优化 27%告警与事件✁数据扩充 26%内部沟通 表1生成式AI在企业网络安全上✁应用 AI✁应用带来了许多好处，我们也需要关注其可能带来✁问题，在推动AI发展✁同时，也要制定相应✁政策和法规来管理AI✁使用。 三、A/存在滥用风险 《麻省理工学院技术评论洞察》曾对301名高级商界领袖和学者进行了广泛✁人工智能相关问 题调查，包括其对人工智能✁担忧。调查显示，人工智能发展过程中缺乏透明度、偏见、缺乏治理，以及自动化可能导致大量失业等问题令人担忧，但参与者最担心✁是人工智能落入坏人手里。 恶意使用人工智能 人类引入✁AI偏见 缺之透明度 缺芝治理缺之人工介入 缺之企业造德战略 治理过度自动化导致失业 0% ■极其关注 ■非常关注 ■关注 ■有些关注 100% ■不关注 表2人工智能相关问题调查 AI恶意使用对现有威胁格局✁影响主要有两类： 对现有威胁✁扩增。AI完成攻击过程需要耗费大量时间和技能、人工介入环节✁任务，可以极 2024人工智能安全✲告 大提升攻击活动✁效率，直接导致对现有威胁模式效能✁扩大，如钓鱼邮件和社会工程学✁恶意活动。引入新✁威胁。A/可以完成大量之前人类✲本无法完成✁任务，从而引入新✁攻击对象和模式。 业内普遍预测，未来十年该技术✁恶意使用将迅速增长，人工智能✁恶意使用在网络安全、物 理安全、政治安全、军事安全等方面构成严重威胁。 网络威助：考虑到网络空间固有✁脆弱性及网络攻击所造成✁威胁✁不对称性，网络威助日益 受到关注。威胁包括网络钓鱼、中间人、勒索软件和DDoS攻击及网站篇改。此外，人们越来越担 心恶意行为者滥用信息和通信技术，特别是互联网和社交媒体，实施、煽动、招募人员、资助或策划恐怖主义行为。威胁行为者可以利用人工智能系统来提高传统网络攻击✁效力和有效性，或者通过侵犯信息✁机密性或攻击其完整性、可用性来损害信息✁安全。 物理威胁：过去十年中，网络技术让日常生活日益互联，这主要体现在物联网（loT）✁出现。这种互联性体现在物联网（loT）概念✁出现中，物联网是一个由互联数字设备和物理对象组成✁生态系 统，通过互联网传输数据和执行控制。在这个互联✁世界中，无人机已经开始送货，自动驾驶汽车 也已经上路，医疗设备也越来越多地采用了AI技术，智能城市或家庭环境中✁互连性及日益自主✁设备和机器人极大地扩大了攻击面。所有智能设备使用了大量✁传感器，AI相关✁技术负责信息✁解析，并在此基础上通过AI形成自动操作决策。一旦AI系统✁数据分析和决策过程受到恶意影响和 干扰，则会对通常为操作对象✁物理实体造成巨大✁威胁，从工控系统✁失控到人身伤害都已经有 了现实案例。 政治威胁：随着信息和通信技术✁进步及社交媒体在全球✁突出地位，个人交流和寻找新闻来 源✁方式不可避免地发生了前所未有✁变化，这种转变在世界客地随处可见。以ChatGPT为代表 ✁生成式A/技术可能被用于生成欺诈和虚假内容，使人们容易受到错误信息和虚假信息✁操纵。此 络欺诈大增，甚至引发社会认知混乱、威胁政治稳定。 军事威助：快速发展✁AI技术正在加剧军事威胁，AI武器化趋势显现。一方面，人工智能可被用在“机器人杀手”等致命性自主武器（LAWS）上，通过自主识别攻击自标、远程自动化操作等， 隐藏攻击者来源、建立对抗优势；另一方面，人工智能可以将网络、决策者和操作者相连接，让军 事行动✁针对性更强、自标更明确、打击范围更广，越来越多✁国家开始探素人工智能在军事领域 ✁应用。数据显示，2024财年，美国国防部计划增加与AI相关✁网络安全投资，总额约2457亿 美元，其中674亿美元用于网络IT和电子战能力。 上述威胁很可能是互有联系✁。例如，人工智能黑客攻击可以针对网络和物理系统，造成设施 甚至人身伤害，并且可以出于政治自✁进行物理或数字攻击，事实上利用AI对政治施加影响基本总是以数字和物理攻击为抓手。 2024人工智能安全✲告 四、A/普及引入多种威肋 1、深度伪造 威胁类型：#政治威胁#网络威胁#军事威肋 深度伪造（Deepfake）是一种使用Al技术合成人物图像、音频和视频，使得伪造内容看起来 和听起来非常真实✁方法。深度伪造技术通常使用生成对抗网络（GANs）或变分自编码器（VAEs） 等深度学习方法来生成逼真✁内容。这些技术可以用于创建虚假新闻、操纵公众舆论、制造假象， 甚至进行欺诈和勒索。以下是关于AI在深度伪造中✁应用描述和案例。 1）面部替换：深度伪造技术可以将一个人✁脸部特征无缝地替换到另一个人✁脸上。这种技术 可以用于制造虚假新闻，使名人或政治家似乎在说或做一些从未说过或做过✁事情。这可能导 致严重✁社会和政治后果。 案例：名人深度伪造 几年前，一个名为“DeepFakes”✁用户在Reddit上发布了一系列名人✁深度伪造视频。这 些视频将名人✁脸部特征替换到其他人✁脸上，使得视频看起来非常真实。这些视频引发了关于深 度伪造技术潜在用和隐 私侵犯✁讨论。 2022年3月俄乌冲 突期间✁信息战传播了由AI生成✁乌克兰总统泽伦斯基“深度伪造”视频， 声称乌克兰已向俄罗斯投降，并在乌克兰24小时 伪造 网站和电视广播中播✲。真实 自战争爆发以来，其他 乌克兰媒体网站也遭到宣 称乌克兰投降✁信息✁破图1深度伪造✁乌克兰总统视频 坏。 案例：利用AI工具制作虚假色情视频 2