ChatGPT及其安全影响

安 全 影 响 白皮书发布 生成式人工智能的兴起有可能成为企业的主要游戏规则改变者。这项技术允许通过从现有数据中学习来创造原创内容，有能力彻底改变行业，并改变公司的运营方式。通过实现许多以前由人类完成的任务的自动化，生成性人工智能有可能提高效率和生产力，降低成本，并开辟新的增长机会。因此，能够有效利用该技术的企业可能会获得显著的竞争优势。——ChatGPT ChatGPT及其代表的生成式人工智能技术，越来越易用、好用，如何更会用，如何避免误用，对抗滥用，是整个行业共同的话题。 白皮书下载链接：https://c-csa.cn/research/results-detail/i-1877/ 目录 ➢ChatGPT等大语言模型的演进 ➢大语言模型用于网络攻击➢大语言模型用于网络防御➢大语言模型的安全展望 AI: 2025年改变世界的10大关键技术（麦肯锡） 移动互联网渗透率进一步提升 到2025年之前，移动互联网将服务于额外43亿用户（原文） 人工智能在生产、生活中的广泛应用，将极大提升效率。 对人脸、语音、虹膜、签名的进一步研究. 其余包括：虚拟/增强现实（第3）、先进机器人（第6）、3D打印（第8）、基因技术（第9）。不确定性的技术包括：量子计算。 AI已经无处不在 AI的沿革 生成式AIGPT-4、Davinci、Curie…… 深度学习作为交叉领域，发展迅速 1.监督学习：一般分为训练和预测。例如：电子邮件是否是垃圾邮件的训练和判断。预测不准确可能会被修正。分类算法：欺诈检测、诊断。回归算法：预测、优化、洞察。 2.无监督学习：没有已知的结果。通过借鉴数据中存在的结构来开发一个聚类或降维的模型。聚类：推荐、用户画像。降维：大数据分析、结构展示 3.强化学习：受到行为主义心理学的启发，关注应该如何在环境中采取行动，以便使某种累积奖励的概念最大化。场景：游戏AI、知识获取、机器人导航。 4.半监督学习：输入同时包含标签数据和无标签数据。输出时预测器或者分类器。 ChatGPT:生成式AI的典型应用案例 Transformer——LLM的基础模型 1.2017年，Google在一篇论文中描述了转换器模型（Transformer）。2.2021年，斯坦福大学的研究人员将Transformer描述为AI的基础模型（Foundation models）3.模式识别领域，转换器逐渐替代CNN/RNN模型（70%的AI论文）。 Transformer——LLM的基础模型 Paper “Attention Is All You Need” (Google)： 我们提出了一个新的简单的网络结构--Transformer，它只基于注意力机制，完全不需要递归和卷积。 在两个机器翻译任务上的实验表明，这些模型在质量上更胜一筹，同时也更容易并行化，需要的训练时间也大大减少。 Transformer——LLM的基础模型 LLM的广泛应用场景 目录 ➢ChatGPT等大语言模型的演进 ➢大语言模型用于网络攻击 ➢大语言模型用于网络防御➢大语言模型的安全展望 AI与网络安全的关系 AI用于攻击 SANS Cyber Kill Chain Model： AI用于攻击 AI与网络安全 AI被攻击 攻击AI AI用于攻击 窃取AI LLM的内在风险（斯坦福） LLM的6维度风险 LLM的内在风险：公平性 AI的偏见 LLM的内在风险：滥用 LLM的内在风险：滥用案例 生成恶意代码 输入企业机密数据 定制钓鱼邮件 攻击AI的方式 LLM攻防对抗——提取攻击 Google, Stanford, UC Berkeley等联合发表的论文“Extracting Training Data from Large LanguageModels”指出：通过选择和批量处理Prompt，可以在用于训练的数据集中定位包含个人信息的样例（姓名、电话号码）。 LLM攻防对抗——闪避攻击 对ChatGPT类的服务，绕过（闪避）的机制更加简单。 例如，Do Anything Now；让AI扮演某个角色；甚至更换prompt（提问）的方式。 【防御】 1.提升安全意识2.确保有效的安全措施3.改进AI系统 LLM攻防对抗——投毒攻击 对ChatGPT类的服务，已经“涌现”多种投毒攻击方案。例如，封装ChatGPT服务以窃取输入输出；替换ChatGPT的下载链接或者仿冒官网。 【防御】 1.仅使用官方服务（合法合规前提）2.确保有效的连接安全3.身份认证 LLM的内在风险：环境影响 总价值=社会效益+环境效益–能源成本–社会成本（碳排放）–二次影响 LLM的内在风险：法律风险 侵权责任 目录 ➢ChatGPT等大语言模型的演进 ➢大语言模型用于网络攻击 ➢大语言模型用于网络防御 ➢大语言模型的安全展望 LLM用于防御：Google Sec-PaLM “以自然语言对话方式搜索、分析和调查安全数据，缩短事件响应时间……”——Google LLM用于防御：四种武器 【百科书】可视化和说明安全知识 【检测器】恶意软件/垃圾短信的检测 【自动化】收集威胁情报 【助手】有助于安全分析 LLM用于防御：AI文本检测器 LLM用于防御：代码漏洞检测器 LLM用于防御：信息查询的百科书 LLM用于防御：回答常见信息安全问题的百科书 LLM用于防御：威胁情报的自动化与集成 LLM用于防御：简单重复操作的助手 目录 ➢ChatGPT等大语言模型的演进 ➢大语言模型用于网络攻击 ➢大语言模型用于网络防御 ➢大语言模型的安全展望 数据安全的基本模型 负责任的AI AI的5种威胁来源 AI的6类数据资产全景视角 数据：•数据集：已标注数据集、公开数据集 •训练数据、原始数据、测试数据 模型：•算法：训练算法、预测算法、预处理算法 •模型：模型参数、模型调优、训练参数 环境依赖：•云、主机、库、存储 •计算平台、框架•通信算法与协议 案例：ChatGPT 3月20日安全漏洞导致部分用户信息泄露，来自redis-py开源软件。 AI的8种威胁模型全景视角 威胁： 1.恶意活动/滥用：针对ICT系统、基础设施和网络的恶意行为，目的是窃取、改变或破坏指定目标。2.窃听/拦截/劫持：旨在未经同意监听、干扰或夺取第三方通信控制权的行为。3.物理攻击：破坏、暴露、改变、禁用、窃取或未经授权访问物理资产，如基础设施、硬件或互连的行动。4.无意损害：造成财产或人员的破坏、伤害或损伤、导致故障或降低效率的无意行为。5.故障或失灵：资产(硬件或软件)部分或全部功能不足。6.停止服务：服务的意外中断或质量下降到要求的水平以下。7.灾难：突发的事故或自然灾难8.法律：第三方基于合同的或其他方式的法律诉讼。 AI系统的威胁建模方法论（类似STRIDE） AI系统的6维度安全目标，以CIA为基础 不同维度的影响： 1.完整性->真实性：数据或者结果可能被篡改。2.完整性->不可抵赖性：操作者可以否认操作。3.完整性->可问责性：行为来源不可确定。4.可用性和完整性->鲁棒性：通过对可用性的攻击，破坏鲁棒性。5.机密性、可用性和完整性->可信性：数据被篡改导致结果不可信。6.机密性、可用性和完整性->透明度：AI的行为原因难以披露。7.机密性、可用性和完整性->可解释性：AI的行为归因困难，难以推理。8.机密性、可用性和完整性->数据保护/隐私：不同数据集的机密性导致推理。 可信AI的内涵 •合规的AI：符合所有适用的法律和法规的要求。•道德的AI：符合道德原则和价值观。•鲁棒的AI：具备技术和业务的鲁棒性 微信：csagcr官网：www.c-csa.cn邮箱：info@c-csa.cn