ChatGPT及其安全影响

ChatGPT及其 安全影响 云安全联盟大中华区数据安全工作组组长王安宇 生成式人工智能的兴起有可能成为企业的主要游戏规则改变者。这项技术允许通过从现有数据中学习来创造原创内容，有能力彻底改变行业，并改变公司的运营方式。通过实现许多以前由人类完成的任务的自动化，生成性人工智能有可能提高效率和生产力，降低成本，并开辟新的增长机会。因此，能够有效利用该技术的企业可能会获得显著的竞争优势。 ——ChatGPT 白皮书下载链接：https://c-csa.cn/research/results-detail/i-1877/ ChatGPT及其代表的生成式人工智能技术，越来越易用、好用，如何更会用，如何避免误用，对抗滥用，是整个行业共同的话题。 ChatGPT等大语言模型的演进 大语言模型用于网络攻击 大语言模型用于网络防御 大语言模型的安全展望 1.2.3.4.5.6. 移动互联网渗透率进一步提升 到2025年之前，移动互联网将服务于额外43亿用户（原文） 人工智能得到广泛应用（智能客服等）人工智能在生产、生 活中的广泛应用，将极大提升效率。 所有IT服务和网站都可能迁移到云 随着公有云安全性改善，更多组织选择。 物联网：500到1000亿设备（2025） 组织和个人将面对复杂的物联网安全问题。 生物识别：2025年之前消除密码 对人脸、语音、虹膜、签名的进一步研究. 区块链：商业颠覆性技术 在智能合约、商业交易中的更广泛应用 其余包括：虚拟/增强现实（第3）、先进机器人（第6）、3D打印（第8）、基因技术（第9）。 不确定性的技术包括：量子计算。 生成式AI GPT-4、Davinci、Curie…… 强化学习 reinforcement 深度学习 deep 监督学习 supervised 无监督学习 unsupervised 机器学习 Machine 1.监督学习：一般分为训练和预测。例如：电子邮件是否 是垃圾邮件的训练和判断。预测不准确可能会被修正。分类算法：欺诈检测、诊断。回归算法：预测、优化、洞察。 2.无监督学习：没有已知的结果。通过借鉴数据中存在的结构来开发一个聚类或降维的模型。聚类：推荐、用户画像。降维：大数据分析、结构展示 3.强化学习：受到行为主义心理学的启发，关注应该如何在环境中采取行动，以便使某种累积奖励的概念最大化。场景：游戏AI、知识获取、机器人导航。 4.半监督学习：输入同时包含标签数据和无标签数据。输出时预测器或者分类器。 ChatGPT GPTbasedmodel GAN Transformerbased model GenerativeAI 1.2017年，Google在一篇论文中描述了转换器模型 （Transformer）。 2.2021年，斯坦福大学的研究人员将Transformer描述为AI的基础模型（Foundationmodels） 3.模式识别领域，转换器逐渐替代CNN/RNN模型（70%的AI论文）。 Transformer的应用场景深度学习的一个分支 Paper“AttentionIsAllYouNeed”(Google)： 我们提出了一个新的简单的网络结构--Transformer，它只基于注意力机制，完全不需要递归和卷积。 在两个机器翻译任务上的实验表明，这些模型在质量上更胜一筹，同时也更容易并行化，需要的训练时间也大大减少。 Transformer——LLM的基础模型 电子商务 智能客服 互联网搜索 智能问答 科学研究 DNA排列分析 软件开发 代码生成 产品营销 智能分析客户反馈 金融顾问 分析财务和历史数据 移动支付分析欺诈数据 法律咨询 法律法规和案例解读 ChatGPT等大语言模型的演进 大语言模型用于网络攻击 大语言模型用于网络防御 大语言模型的安全展望 AI与网络安全的关系 SANSCyberKillChainModel： 枚举目标对象 侦查 立足点援助 网络钓鱼 多态代码 nmap社工 AI被攻击 AI与网络安全 AI用于攻击 攻击AI 窃取AI 公平性 道德 滥用 AI 法律 经济 环境 偏见与公平 LLM的6维度风险 结果的 误导 误用与 滥用 LLM 可持续 对抗攻 击 隐私泄 露 LLM的内在风险：公平性 AI的偏见 LLM的内在风险：滥用 生成恶意代码定制钓鱼邮件输入企业机密数据 提取攻击（Extraction） 闪避攻击（Evasion） 投毒攻击（Poisoning） 偷数据骗模型改数据 Google,Stanford,UCBerkeley等联合发表的论文“ExtractingTrainingDatafromLargeLanguageModels”指出： 通过选择和批量处理Prompt，可以在用于训练的数据集中 定位包含个人信息的样例（姓名、电话号码）。 LLM攻防对抗——提取攻击 对ChatGPT类的服务，绕过（闪避）的机制更加简单。 例如，DoAnythingNow；让AI 扮演某个角色；甚至更换prompt （提问）的方式。 【防御】 1.提升安全意识 2.确保有效的安全措施 3.改进AI系统 对ChatGPT类的服务，已经“涌现”多种投毒攻击方案。 例如，封装ChatGPT服务以窃取输入输出；替换ChatGPT的下载链接或者仿冒官网。 【防御】 1.仅使用官方服务（合法合规前 提） 2.确保有效的连接安全 3.身份认证 总价值=社会效益+环境效益–能源成本–社会成本（碳排放）–二次影响 模型训练模型预测输出保护 CFAA “未经授权”访问服务器为刑事犯罪 【影响】通过网络信息爬虫获得训练数据集的合法性。 隐私法 GDPR、CCPA、伊利诺伊生物识别法 【影响】隐私数据主体的权利行使 （删除权等）。 特定领域法律 医药场景的使用，需要监管批准 【影响】LLM的标准化部署及安全性。 版权法 训练集中的数据可能受版权法甚至知 识产权法保护 【影响】训练数据集的合法性。 侵权责任 预测的结果用于决策（自动驾驶、医 疗诊断），模型可能承担责任。 【影响】模型预测的法律侵权风险。 输出的版权 输出的结果（如合成语音）是否有版 权、是否需要披露 【影响】输出结果的广泛采用。 ChatGPT等大语言模型的演进 大语言模型用于网络攻击 大语言模型用于网络防御 大语言模型的安全展望 LLM用于防御：GoogleSec-PaLM “以自然语言对话方式搜索、分析和调查安全数据，缩短事件响应时间……”——Google 【检测器】恶意软件/垃圾短信的检测【百科书】可视化和说明安全知识 【自动化】收集威胁情报【助手】有助于安全分析 LLM用于防御：AI文本检测器 LLM用于防御：代码漏洞检测器 LLM用于防御：信息查询的百科书 LLM用于防御：回答常见信息安全问题的百科书 LLM用于防御：威胁情报的自动化与集成 LLM用于防御：简单重复操作的助手 ChatGPT等大语言模型的演进 大语言模型用于网络攻击 大语言模型用于网络防御 大语言模型的安全展望 CIA三角DIKM模型 决策智慧(M) 知识(K) 目标AI 信息(I) 关联 数据(D) 负责任的AI 恶意 组织内部 非恶意 黑客 安全研究者 威胁来源 学术/专业 兴趣爱好 竞争对手 网络犯罪 有组织犯罪、个人犯罪…… AI的5种威胁来源 案例：ChatGPT3月20日安全漏洞导致部分用户信息泄露，来自redis-py开源软件。 数据： •数据集：已标注数据集、公开数据集 •训练数据、原始数据、测试数据 模型： •算法：训练算法、预测算法、预处理算法 •模型：模型参数、模型调优、训练参数 环境依赖： •云、主机、库、存储 •计算平台、框架 •通信算法与协议 威胁： 1.恶意活动/滥用：针对ICT系统、基础设施和网络的恶意行 为，目的是窃取、改变或破坏指定目标。 2.窃听/拦截/劫持：旨在未经同意监听、干扰或夺取第三方通信控制权的行为。 3.物理攻击：破坏、暴露、改变、禁用、窃取或未经授权访 问物理资产，如基础设施、硬件或互连的行动。 4.无意损害：造成财产或人员的破坏、伤害或损伤、导致故障或降低效率的无意行为。 5.故障或失灵：资产(硬件或软件)部分或全部功能不足。 6.停止服务：服务的意外中断或质量下降到要求的水平以下。 7.灾难：突发的事故或自然灾难 8.法律：第三方基于合同的或其他方式的法律诉讼。 •确定目标系统 •确定系统的安全属 性 2系统架构梳理 •系统、关键部件和 交互 •外部依赖 •关键资产识别（安 全、隐私） 4威胁识别 •确定威胁来源 •确定对资产的影响 •系统/资产的脆弱性 •基于已知的攻击模 式 1目标定义 3资产识别 5脆弱性识别 鲁棒性 数据保 护 可信性 AI安全 可问责 性 透明度 可解释 性 不同维度的影响： 1.完整性->真实性：数据或者结果可能被篡改。 2.完整性->不可抵赖性：操作者可以否认操作。 3.完整性->可问责性：行为来源不可确定。 4.可用性和完整性->鲁棒性：通过对可用性的攻击，破坏 鲁棒性。 5.机密性、可用性和完整性->可信性：数据被篡改导致结果不可信。 6.机密性、可用性和完整性->透明度：AI的行为原因难以披露。 7.机密性、可用性和完整性->可解释性：AI的行为归因困难，难以推理。 8.机密性、可用性和完整性->数据保护/隐私：不同数据集的机密性导致推理。 可信AI的内涵 合规的 AI 道德的 AI 鲁棒的 AI •合规的AI：符合所有适用的法 律和法规的要求。 •道德的AI：符合道德原则和价值观。 •鲁棒的AI：具备技术和业务的鲁棒性 可信AI 谢谢！ 微信：csagcr 官网：www.c-csa.cn邮箱：info@c-csa.cn