ChatGPT的安全影响

©2023云安全联盟大中华区版权所有1 @2023云安全联盟大中华区-保留所有权利。本文档发布在云安全联盟大中华区官网(http://www.c-csa.cn)，您可在满足如下要求的情况下在您本人计算机上下载、存储、展示、查看、打印此文档：（a）本文只可作个人信息获取，不可用作商业用途；(b)本文内容不得篡改;(c)不得对本文进行转发散布;(d)不得删除文中商标、版权声明或其他声明；（e）引用本报告内容时，请注明来源于云安全联盟大中华区。 ©2023云安全联盟大中华区版权所有2 ©2023云安全联盟大中华区版权所有 1 致谢 《ChatGPT的安全影响（SecurityImplicationsofChatGPT）》由CSA工作组专家编写， CSA大中华区秘书处组织翻译并审校。 中文版翻译专家组（排名不分先后）： 组长：王安宇翻译组： 顾春辉侯汉书蓝靖李冰洁李晓明薛琨 审校组： 顾春辉侯汉书蓝靖李冰洁 研究协调员： 李宗澧 感谢以下单位的支持与贡献： OPPO广东移动通信有限公司杭州虎符网络有限公司 广州熠数信息技术有限公司深信服科技股份有限公司 新华三技术有限公司浙江齐安信息科技有限公司 注意：本白皮书为候选版。可能会不定期更新。 ©2023云安全联盟大中华区版权所有4 英文版本编写专家 作者: KurtSeifried SeanHeide BogdanFilip VishwaManral LarsRuddigkeit WalterDula EricE.Cohen BillyToney SuproGhose Marina Bregkou 其他人员: StephenLumpe (封面插图，Midjourney提供协助) 在此感谢以上专家。如译文有不妥当之处，敬请读者联系CSAGCR秘书处给与雅正! 联系邮箱research@c-csa.cn；国际云安全联盟CSA公众号。 ©2023云安全联盟大中华区版权所有5 序言 伴随着数字化转型的进一步深入，人工智能（AI）的广泛应用，各行各业的生产效率迅速提升，人们的工作、生活和娱乐也越来越丰富和多样化。与此同时，数字世界中，安全、隐私的重要性日益凸显，数字化安全，成为数字世界行稳致远的基石。 在数字化安全领域，AI是一个至关重要的话题，也是一把越来越锋利的双刃剑。从攻击者的角度，AI在网络攻击或者漏洞利用的生命周期各个环节，都可以使攻击者更广泛、更深入、效率更高的发现和利用网络漏洞，达成攻击目标。例如，基于MITREAtt&ck模型，在“侦查（recon）”环节，AI可以迅速和准确的收集目的系统的大量信息，为攻击者提供线索。而从防御者的维度，“人工智能用于安全（AIforSecurity）”早已成熟，并应用于一系列的安全产品中。如基于无监督学习的聚类算法用于垃圾邮件的自动化识别。 ChatGPT的火爆，将AI的安全与隐私又一次置于聚光灯下，高智慧AI如果产生对人类的不良意识更将是全新的巨大威胁。安全从业者想了解ChatGPT能否有助于自己的工作，企业的管理者想了解能否使用ChatGPT带来业务优势，并规避风险，甚至大众也有AI时代安全与隐私的顾虑和担忧…… 相信此本白皮书能以专业的视角，清晰和准确的描述ChatGPT的安全影响，给读者信息、思考和启发。 李雨航YaleLiCSA大中华区主席兼研究院院长 ©2023云安全联盟大中华区版权所有6 目录 致谢1 序言6 1.简介8 2.ChatGPT是什么9 2.1机器学习模型11 2.2ChatGPT的局限性12 2.3ChatGPT使用条款13 2.4基准14 2.5过去工具改变安全世界的例子14 3.恶意行为者如何利用它来改进他们的工具集15 3.1枚举15 3.2立足点援助17 3.3侦察19 3.4网络钓鱼20 3.5“多态”代码21 4.防御者如何将AI运用到网络安全程序中22 4.1过滤安全漏洞22 4.2生成安全代码（ChatGPT-Codex）24 4.3转换安全代码（ChatGPT-Codex）25 4.4漏洞扫描（ChatGPT-Codex）26 4.5检测AI生成的文本28 4.6寻求网络安全问题解决方案28 4.7与SIEM/SOAR集成30 4.8将技术代码/文件转换为英文31 4.9解释安全补丁和更新日志32 4.10创建脚本和转换编程语言32 4.11阅读并解释脚本和配置文件34 4.12用于模糊测试和代码测试的ChatGPT36 4.13创建查询，如YARA或KQL37 5.通过恶意提示词攻击ChatGPT39 5.1图解攻击点41 5.2用户与ChatGPT建立连接41 5.3选择现有会话或发起新会话42 5.4用户输入42 6.如何确保企业安全使用ChatGPT44 6.1ChatGPT44 6.2新必应45 6.3Azure认知服务46 7.生成式AI技术的局限性和“怪癖”46 8.未来的攻击与挑战48 9.结论49 10.参考文献51 11.附录-格式53 11.1风险表53 11.2热力图54 7 ©2023云安全联盟大中华区版权所有 1.简介 欢迎阅读云安全联盟第一份关于极为流行的生成式人工智能技术ChatGPT的安全影响的白皮书。企业、国家和网络安全专家都在紧跟ChatGPT的热度，试图理解如何治理和使用该技术。为了帮助社区全面了解ChatGPT的背景，并确定适用于所有利益相关者的实际问题，CSA迅速发布了本版白皮书。 像ChatGPT这样的大语言模型已被认为是可以显著提高各行业生产力的强大工具。在网络安全领域，它们在漏洞识别和社会工程等任务上表现出了潜力。然而，这种潜力也引发了人们对这些技术在道德和恶意使用之间的微妙界限的关键问题。 本文旨在概述ChatGPT在网络安全行业中的影响，但不深入探讨人工智能的细节。我们将探讨对理解ChatGPT能力至关重要的关键概念和领域，以及对企业的潜在影响。 在我们研究这些影响的同时，考虑区分合法和恶意使用ChatGPT的挑战至关重要，例如区分营销电子邮件、公司通信和网络钓鱼邮件，或者识别待修复漏洞和黑客入口点。 此外，我们预计ChatGPT的融合将带来网络安全专业人员生产力的提高，并为有志于此领域的人士提供创新的培训方法。这项技术还可能改变软件开发实践，特别是在应用程序开发方面。 通过研究ChatGPT的现状及其潜在影响，我们旨在提供对这种技术如何塑造网络安全行业未来的全面理解。 我们了解市场上还存在其他多个生成式AI工具，最终CSA无法预测这个市场的发展方向以及哪些解决方案将持久存在。随着时间的推移，我们计划广泛覆盖所有技术上的AI安全问题，特别是当它们作为服务交付时。然而，由于目前ChatGPT的强大热度，我们被迫仅以公众利益的角度深入研究这项技术。 8 ©2023云安全联盟大中华区版权所有 2.ChatGPT是什么 ChatGPT是一个由OpenAI使用转换器（Transformer）深度学习算法训练的大语言模型，使用来自互联网和其他来源的大量文本数据训练，旨在能够理解自然语言，并对问题和提示生成类似人类的响应。 ChatGPT所使用的转换器（Transformer）架构是基于注意力机制的思想构建的，使得模型可以在不同的时间关注输入文本的不同部分。这种注意力机制用于构建文本的上下文表示，从而捕捉不同单词和短语之间的含义和关系。 在训练期间，模型会接收输入文本并尝试预测下一个单词或单词序列。这个过程会重复数百万次，模型逐渐学会生成合理、符合语法的回复，并能对各种各样的提示和问题做出回应。 当向ChatGPT提出问题或做出陈述时，该模型会利用其学习到的知识生成一个最可能合理且与输入相关的响应。ChatGPT的实现方式是通过比较输入与其内部语言表示并根据学习到的模式生成响应。 总的来说，ChatGPT是深度学习和自然语言处理能力的惊人范例，有潜力在未来彻底改变我们与计算机和AI系统的交互方式。 用ChatGPT自己的话说： 参考： 问题：“您能向稍微具备技术背景的听众解释一下ChatGPT是什么以及它是如何工作的吗？”日期：2023-03-08 网站：https://chat.openai.com/ 一般来说，ChatGPT属于人工智能的一个专业领域，即生成式人工智能（见图1）。 这个领域随着计算能力的提升而不断发展，现在我们看到了它的加速发展趋势。具体而言，人工智能领域可以追溯到上世纪50年代，当时艾伦·图灵（AlanM.Turing）发表了《计 算机器与智能》一书。机器学习领域则与IBM的“深蓝”（DeepBlue）打败国际象棋大师加里·卡斯帕罗夫（GaryKasparov）相关。在2016年，基于深度学习（DeepLearning）算法的AlphaGo在围棋比赛中战胜了韩国职业选手李世石，赢得了五局中的四局。虽然DeepBlue和AlphaGo都是游戏算法，但展示了超越人类实现复杂任务的潜力。现在我们正处于21世纪20年代的生成式AI时代，全球范围内的ChatGPT运动正在发生。 9 ©2023云安全联盟大中华区版权所有 在人工智能（AI）发展的各个阶段，计算能力一直是一个制约因素，限制了有效地处理复杂计算问题的能力。如图1所示，这些阶段的特征是AI领域内越来越专业化的子域。例如，生成式AI是深度学习的子域，而深度学习又是机器学习的子域。至关重要的是，AI的定义也经历了不断的转变以保持与人类历史不同时代的相关性。 人工智能 机器学习 深度学习 生成式AI 图1:AI领域生成式AI基础模型的家族依赖关系 除了采用提示和回复格式的基本网络用户界面外，OpenAI还提供了Whisper，一种基于神经网络的语音识别（语音转文字）系统。他们还提供了应用程序编程接口（API），使组织能够无缝地将ChatGPT和Whisper集成到各种应用程序、网站、产品和服务以及语音界面中。 然而，ChatGPT的强大功能，特别是通过API的方式，存在潜在的风险，因为恶意行为者可能会利用该工具为网络攻击提供便利。 *为确保质量，必须验证通过ChatGPT获得的所有信息并验证输出。 可以通过多种选项访问语言模型，例如聊天机器人界面、API和云服务。每个选项都 10 ©2023云安全联盟大中华区版权所有 针对不同的最终用户，如个人用户或企业客户。有些解决方案为个人提供升级版，而另一些解决方案则专为商业用途设计，并且由于合作关系可能在特定的云平台上提供。 对于企业客户，某些基于云的服务通过RESTAPI、软件开发工具包（SDK）或基于Web的界面提供对语言模型的安全、隔离的访问。这些服务可以与其他云产品集成，并支持虚拟专用网络和通过目录服务管理的身份验证等功能。 随着技术的不断进步，OpenAI和ChatGPT的集成速度正在以惊人的速度增加。许多应用程序、平台和工具都在利用这些AI模型的强大能力增强其功能和能力。可访问以下链接了解一些当前的集成，，该链接提供了许多（但并非全部）现有链接的概述： https://sourceforge.net/software/product/OpenAI/integrations/ 在此链接中，您将找到涉及OpenAI的各种集成列表，包括AI驱动的代码建议工具、聊天机器人平台和搜索引擎等。请注意，此列表可能不是详尽无遗的，因为新的集成正在不断地开发，现有的集成也在不断地改进中。 随着越来越多的企业和开发者意识到类似OpenAI和ChatGPT的AI模型的潜力，我们可以期待看到集成的数量和种类将进一步增长。这种持续的扩展可能会产生各种新型应用程序、工具和服务，最终使得AI在众多行业和领域中更加易于访问和使用。 要了解关于特定的OpenAI模型及其功能的更多信息，请通过以下链接访问OpenAI的模型概述页面： https://platform.openai.com/docs/models/over