网络安全研究：人工智能安全趋势研究报告（2024）

研 网络安全究 赛迪研究院主办 2024年12月15日 第4期 总第81期 本期主题 人工智能安全趋势研究 所长导读 近年来，随着人工智能技术的快速迭代与深度应用，其对社会经济和日常生活的变革性影响日益显现。然而，与技术进步相伴的是日趋复杂的安全挑战。如何在推动技术创新的同时，确保人工智能系统的安全、可靠和可控，成为当前全球科技发展的核心议题。 本期《人工智能安全趋势研究》从供应链、数据、算法、应用和伦理五个层面梳理了人工智能的安全风险，分析了高端芯片断供、数据泄露、对抗性攻击、深度伪造以及伦理困境等问题对人工智能技术发展的潜在威胁。同时，介绍了机密人工智能、联邦学习、对抗性机器学习、AIGC检测、可解释人工智能等技术解决方案，并展望了人工智能安全测评的发展方向。此外，针对我国实际情况，报告提出了完善人工智能治理体系、加快关键技术研发、推动人工智能安全标准建设以及加强公众教育等具体建议，助力我国人工智能实现安全、可持续的高质量发展。 在当前人工智能技术加速融入社会经济各领域的背景下，推动人工智能安全发展不仅关乎技术本身，更是构建和谐社会、维护公平秩序的重要前提。希望本期内容能为政府部门、企业机构和社会组织提供参考和借鉴，并欢迎各界读者不吝赐教。 赛迪研究院网络安全研究所所长温晓君 2024年12月15日 目录 CONTENTS 本期主题：人工智能安全趋势研究 一、人工智能安全1 （一）人工智能内生安全1 （二）人工智能衍生安全2 二、人工智能安全风险分析2 （一）供应链安全2 （二）数据安全4 （三）算法安全5 （四）应用安全6 （五）伦理安全8 三、人工智能安全解决方案和技术趋势10 （一）数据安全与隐私保护10 （二）算法安全与模型防护13 （三）人工智能生成内容检测和溯源15 （四）人工智能透明度和信任构建17 四、人工智能安全测评趋势21 （一）人工智能安全测评标准21 （二）人工智能安全测评平台和工具22 （三）人工智能安全测评未来展望23 五、促进我国人工智能安全发展的对策建议24 （一）构建多层次的人工智能安全治理体系24 （二）加快技术研发与自主生态建设25 （三）完善人工智能安全标准与测评体系26 （四）加强伦理引导与公众教育27 本期主题： 人工智能安全趋势研究 一、人工智能安全 人工智能作为引领科技革命和产业变革的核心技术，已经深刻改变了社会各领域的运作模式。从20 世纪50年代人工智能概念的提出， 到21世纪初机器学习的兴起，再到近几年深度学习和大模型的迅猛发展，人工智能在语音识别、图像处理、智能驾驶等多个领域取得了显著成果。尤其是ChatGPT、Sora等大模型的广泛应用，使得人工智能逐步渗透到人们的日常生活与工作中。然而，随着人工智能技术的普及化与复杂化，其安全问题日益凸显。一旦人工智能系统被滥用、误用或发生故障，不仅可能带来经济损失，还可能对社会秩序、伦理道德乃至国家安全构成威胁。因此，全球各国逐渐将人工智能安全作为重要议题，开展相关研究与政策制定。 人工智能安全可分为人工智能 内生安全（AISecurity）和人工智能衍生安全（AISafety）。内生安全指的人工智能系统自身存在的脆弱性，可能导致系统运行出现问题，无法达到预设的功能目标。这往往源于新技术的不成熟，或是技术自身的天然缺陷。衍生安全则是指人工智能技术的脆弱性被利用，虽然其自身能够正常运行，但是危及其他领域的安全。这两方面共同构成了人工智能安全的核心内容，决定了人工智能技术能否在安全、可靠、可控的前提下持续健康发展。 （一）人工智能内生安全 人工智能内生安全包括供应链安全、数据安全、算法安全三个层面。 供应链安全：人工智能供应链安全是指在人工智能供应链的整个生命周期中，确保所涉及的训练框架、第三方库、操作系统、数据库、芯片、云服务等软硬件和服务的安 全性、完整性和可靠性。 数据安全：人工智能数据安全是指通过采取必要措施，确保人工智能系统使用的数据得到有效保护，并且合法、安全地被利用，同时具备持续保障数据安全状态的能力。 算法安全：人工智能算法安全是指在整个人工智能系统的设计、开发、部署和使用过程中，确保算法的公正性、透明性、鲁棒性和抗攻击能力，同时采取必要措施保护算法免受未经授权的访问和篡改，以及确保算法的决策过程和结果合法、合规。 （二）人工智能衍生安全 人工智能衍生安全包括应用安全和伦理安全两个层面。 用安全：人工智能应用安全是指确保人工智能应用在实际操作中的安全性和可靠性，防止其被滥用或误用，保障应用的输出和行为符合预期。 伦理安全：人工智能伦理安全是指在人工智能系统的整个生命周期中，确保其设计和行为遵循以人为本的原则，尊重并保护个人权利，促进社会价值和公共利益，同时避 免产生不公平、歧视或责任不清等问题。 二、人工智能安全风险分析 为全面认识人工智能安全的现状，以下将从内生安全和衍生安全的这五个层面入手，具体分析当前人工智能安全的主要风险和应对手段。 （一）供应链安全 人工智能的运行依赖硬件与软件两大基础。高端芯片、GPU、FPGA等硬件为人工智能训练与推理提供算力支持，训练框架、操作系统、数据库、云服务和第三方库为模型开发、数据处理与应用落地提供必要环境。一旦供应链中任一环节出现断供或自身安全问题，可能造成研发进度受阻、性能下降、数据泄露或恶意代码植入等后果，从而动摇整个人工智能系统的基础。因此，保障软硬件全链条的安全性，对于人工智能的持续健康发展至关重要。 1硬件供应链安全风险 一是高端芯片以及关键器件的断供风险。近年来，围绕高端芯片供应的限制措施不断升级。2022年10月，美国商务部产业与安全局 （BIS）对先进芯片的出口实施管控，包括限制英伟达的A100和H100两款GPU对华输出。随后英伟达为规避管制，在A100和H100的基础上推出针对中国市场的“降级版”产品A800和H800，但2023年10月BIS再次强化限制，将A800和H800纳入出口管制范畴。到2024年12月，BIS对华半导体出口管制措施进一步扩大，涵盖24种半导体制造设备、3种相关软件工具以及高带宽内存（HBM）芯片等。上述规则的持续收紧表明，高端芯片和存储器等关键硬件的供应链已面临长期不确定性，可能对人工智能系统的算力供给与迭代升级造成制约。二是以智能芯片为代表的硬件本身存在潜在的安全隐患。2024年1月，苹果、AMD、高通等多家主流厂商的GPU产品被曝出重大漏洞，攻击者可通过底层缺陷从GPU内存窃取数据，对运行在该硬件之上的人工智能模型产生影响。2024年10月，高通公司发布安全警告称，其多达64款芯片组中的数字信号处理器（DSP）服务中存在“零日漏洞”，且该漏洞已出现有限且有针对性地利用迹象。 2软件供应链安全风险 一是人工智能底层框架等基础软件被少数西方公司垄断带来的供应链脆弱性。谷歌的TensorFlow和Meta的PyTorch在中国开发者使用的人工智能框架中超过60，英伟达的CUDA并行计算架构占据垄断地位。这种格局使得下游研发和应用流程长期绑定于既定工具链，一旦供应方实施限制或技术支持中断，人工智能产业链在模型训练和推理、性能优化等方面将受到明显影响。二是底层框架、第三方库以及开源模型等软件潜在的漏洞与后门问题。随着人工智能应用不断扩张，操作系统、数据库、云服务以及训练框架的安全隐患正逐渐显现。例如，“tensrflwo”恶意代码包通过仿冒TensorFlow框架名称进行传播，在下架前累计被下载870余次，并通过国内镜像源持续传播。2024年10月，字节跳动出现了一起重大模型投毒事件，攻击者利用HuggingFace提供的transformers代码库中loadrepocheckpoint函数的安全缺陷，在模型加载环节实施恶意代码注入，导致模型训练异 常。随着人工智能应用的不断推广，系统连接愈发密集，非法入侵的潜在触点也随之显著增加。 （二）数据安全 人工智能的能力高度依赖高质量且安全可靠的数据资源。然而，在模型训练和推理两个关键环节中，数据面临着多重安全风险，不仅威胁模型的性能和可靠性，还可能引发严重的社会和经济后果。如何有效应对数据安全挑战，已成为保障人工智能系统稳定运行的核心议题之一。 1训练阶段的数据安全风险 一是数据投毒风险，攻击者通过植入偏见样本或不当内容，导致模型输出偏差性甚至歧视性结果。2016年，微软发布了一个名为Tay的聊天机器人，该机器人能够从与Twitter用户的对话中在线学习。然而，在短短24小时内，Tay在部分用户的引导下开始发布不当言论，包括脏话和种族歧视等内容。主要是因为在对话数据集中被恶意增加了不当的数据，导致Tay学习并模仿这些不当行为。二是数据标注不规范风险。标注质量直接影响 模型的有效性与可靠性，但即使是广泛用于人工智能训练的权威数据集，也并非完美无缺。麻省理工学院与亚马逊的研究人员对10个主流机器学习数据集进行评估后发现，平均有33的数据标注存在错误，知名数据集ImageNet和CIFAR100的错误率甚至接近6。这意味着大量模型在无形中继承了错误标注所带来的偏差，进而影响对现实场景的判断与处理。当此类问题在自动驾驶、医疗诊断或公共安全等关键领域出现时，其影响已不再局限于模型性能的微小波动，而可能导致重大决策失误和安全隐患。 2推理阶段的数据安全风险 一是用户无意向人工智能服务泄露机密信息。当用户与大模型等人工智能服务交互时，若缺乏安全意识与明确指引，可能将内部文件、商业机密及个人隐私信息直接输入系统，从而被模型记录并潜在扩散。2023年4月，三星被曝光多起数据泄露事件，原因是三星允许半导体部门的工程师使用ChatGPT修复源代码问题，至少有三名员工直接将新程序的源代码本体、与硬 件相关的内部会议记录等敏感数据以提问的方式输入给ChatGPT。数据安全公司Cyberhaven调查显示，23的员工会将公司机密数据粘贴到ChatGPT中，企业平均每周向ChatGPT泄露机密材料达数百次。二是攻击者可以从模型中反向恢复训练数据，造成敏感信息泄露。研究发现，黑客可利用新的数据提取攻击方法从当今主流的大语言模型中大规模提取训练数据。现有的对齐与防护技术尚不足以彻底阻断数据提取攻击的途径，在缺乏安全措施的情况下，贸然训练和部署涉及敏感数据的人工智能应用可能引发严重后果。 （三）算法安全 人工智能系统的底层算法是驱动智能决策和认知能力的核心，然而这一“智能中枢”在复杂现实环境中可能暴露出多重安全隐患，包括内在缺陷、决策过程不透明、对抗样本攻击和知识产权窃取等问题。这些隐患不仅威胁人工智能系统的性能和可靠性，还可能影响其决策的公正性，甚至对相关产业的价值和安全造成严重冲击。 1算法缺陷导致系统偏离预期 人工智能系统在面对复杂场景时，可能因算法缺陷而偏离预期目标，造成重大损失。例如，2018年3月，Uber自动驾驶汽车因机器视觉系统未能及时识别行人而发生致命事故。谷歌、斯坦福大学、加州大学伯克利分校和OpenAI的研究人员将算法模型设计和实施中的安全问题归纳为三类：一是目标函数定义错误，设计者在设计目标函数时未能充分考虑运行环境的约束条件，导致算法执行过程中对周围环境产生负面影响；二是目标函数计算成本过高，算法被迫采用简化的替代方案，无法达到预期效果；是模型表达能力不足，在面对训练数据集之外的新场景时容易产生错误结果。这些问题在大模型系统中表现得尤为突出，如ChatGPT等大模型在回答专业问题时可能生成貌似专业但实际错误的内容，即“幻觉”问题。目前，即便采用更大规模或更复杂的模型架构，也无法根本解决大模型的幻觉问题，这使得大模型的可靠性和能力备受质疑。 2算法黑箱阻碍监管审查 随着深度学习等复杂模型的普及，算法决策的不透明性问题愈发突出。即便是开发团队也难以完全解释GPT等大语言模型的推理过程。这种不透明性主要由三个因素造成：一是企业出于商业利益考虑而主动封闭算法细