AI安全白皮书

©2023云安全联盟大中华区版权所有1 @2023云安全联盟大中华区－保留所有权利。你可以在你的电脑上下载、储存、展示、查看及打印，或者访问云安全联盟大中华区官网（https://www.c-csa.cn）。须遵守以下：（a）本文只可作个人、信息获取、非商业用途；（b）本文内容不得篡改；（c）本文不得转发； （d）该商标、版权或其他声明不得删除。在遵循中华人民共和国著作权法相关条款情况下合理使用本文内容，使用时请注明引用于云安全联盟大中华区。 ©2023云安全联盟大中华区版权所有2 ©2023云安全联盟大中华区版权所有3 致谢 《AI安全白皮书》由CSA大中华区AI安全工作组专家撰写，感谢以下专家的贡献： 工作组联席组长: 黄磊王维强 主要贡献者： 黄磊 王维强 何伊圣 卞超轶 李岩 陶瑞岩 刘广坤 郑国祥 张淼 陈洋 郭建领 唐科伟 崔崟 段阳阳 冯明 邹旭 郝伟 黄国忠 林兵 邢海韬 杨浩淼 杨喜龙 张亮 孟昌华 审校组: 黄磊 王维强 黄连金 刘广坤 何伊圣 张亮 李岩 研究协调员： 黄家栋 贡献单位: 中国电信股份有限公司研究院蚂蚁集团安全实验室 北京百度网讯科技有限公司杭州安恒信息技术股份有限公司北京启明星辰信息安全技术有限公司华为技术有限公司 联通（广东）产业互联网有限公司北京沃东天骏信息技术有限公司上海安几科技有限公司优刻得科技股份有限公司 上海物盾信息科技有限公司杭州世平信息科技有限公司深圳市魔方安全科技有限公司电子科技大学 浙江孚临科技有限公司 (以上排名不分先后) 关于研究工作组的更多介绍，请在CSA大中华区官网（https://c-csa.cn/research/）上查看。 在此感谢以上专家及单位。如此文有不妥当之处，敬请读者联系CSAGCR秘书处给与雅正!联系邮箱research@c-csa.cn；国际云安全联盟CSA公众号 序言1 在21世纪这个科技飞速发展的时代，人工智能技术的进步使得数字经济成为全球经济发展的主导力量。因此，各国和企业纷纷加快了对数字经济的战略规划和布局，以抢占发展制高点。 然而，在数字化转型深入进行之际，人工智能安全面临着不断加剧的挑战和风险。数据以多种形态在各个主体、不同场景下流动和应用，人工智能安全问题涉及到保密性、完整性、可用性和合规性等方面问题，同时还包括算法、模型、应用和系统的安全。传统信息安全风险管理方法已无法适应数字化业务高速发展和变化，并不能实现对人工智能全生命周期过程中风险管控。在这一背景下，《AI安全白皮书》应运而生。本白皮书审视了AI在安全领域应用与挑战，并包括了AI赋能安全技术、伴生安全问题、监管与技术生态以及热门问题等内容，为行业提供了一个全局视角，有助于推动AI安全领域的进一步发展和规范。 通过对AI安全风险进行深入分析和研究，我们坚信企业和组织可以采取更为有效的管理措施，确保数据安全与隐私保护。面对数字经济时代，企业和组织必须高度重视人工智能安全风险管理，并积极应对各类人工智能安全挑战。借助 《AI安全白皮书》的指导和建议，我们期待广大从业者能够更好地把握人工智能安全管理要点，确保数字经济发展可持续性。同时，我们也期待更多企业和组织能够参与到人工智能安全事业中来，共同为构建安全、健康的数字经济环境贡献力量。 李雨航YaleLi CSA大中华区主席兼研究院院长 序言2 《AI安全白皮书》是一份对当前人工智能（AI）安全领域的有指导意义的研究和分析。本文探讨了AI在安全领域的多种应用，包括漏洞挖掘、安全防御和威胁检测，同时也着重分析了AI本身的安全问题，如内生安全和衍生安全问题。此外，它还涉及了AI安全的监管生态、技术生态以及行业发展情况，包括法律法规、行业标准、国际共识等方面。 这份白皮书对于任何关注网络安全和人工智能发展的人来说都是有价值的资源。无论是业内专业人士、学者、政策制定者，还是对AI技术和网络安全感兴趣的学生和爱好者，都能从中获得独到的见解和知识。它不仅提供了对AI安全技术的概述，还探讨了相关的伦理法律和政策问题，为理解和应对AI带来的安全挑战提供了理论基础。 此外，白皮书还特别关注了AI安全的最新热点问题，如大模型安全、对抗样本攻击、数据投毒攻击、供应链攻击、数据泄露攻击和模型窃取攻击等，这些内容对于理解当前和未来AI安全的趋势至关重要。它还对AI伦理和AI辅助安全进行了讨论，为读者提供了关于如何负责任地发展和应用AI技术的重要思考。 总的来说，《AI安全白皮书》是一份可读而且及时的研究成果，对于希望深入了解AI在安全领域应用的人来说，是不可多得的资料。它不仅涵盖了AI安全领域的广泛主题，还提供了关于如何面对未来挑战和机遇的有益见解。这份白皮书是理解AI安全领域现状和未来发展的重要参考资料。 黄连金KenHuang CSA大中华区研究院副院长 目录 1AI赋能安全10 1.1AI赋能安全10 1.2AI伴生安全26 2AI安全的生态36 2.1AI安全的监管生态36 2.2AI安全的技术生态57 3AI安全的热门问题90 3.1大模型安全90 3.2对抗样本攻击92 3.3数据投毒攻击94 3.4供应链攻击96 3.5数据泄露攻击99 3.6模型窃取攻击102 3.7AI伦理/对齐104 3.8AI辅助安全108 4AI安全的行业发展121 4.1监管发展121 4.2技术发展126 5总结与展望135 背景 人工智能（AI）是一项新兴技术，代表了现代科技的发展和进步。AI的运用范围广泛，具有广阔的扩展潜力，对各行各业领域产生了深远的影响。在数字化转型的浪潮下，AI将成为企业成功的关键因素之一，并随着企业数字化转型的深入实践，人工智能（AI）帮助企业提升生产效率和生产力，改善客户体验和服务质量，帮助企业发现新的商机和提供更高级的安全保障。 人工智能（AI）是一项关键的革命性技术，它正在改变我们的世界。随着AI技术的快速发展，与数字化企业的全面实现，AI安全问题也日益凸显。AI安全应确保AI系统在执行任务时能够遵守法律、伦理规范和道德和技术的合规。在解决AI安全问题的过程中，应实现AI安全的透明度、责任化和可持续化的安全治理是企业发展的关键所在。 CSA于2022年相继推出《医疗保健中的人工智能》、《ChatGPT的安全影响》等多个安全白皮书，并进行更加全面的总结形成《AI安全白皮书》，在AI安全领域通过一系列的建议和最佳实践，帮助企业遵循AI安全原则和标准，帮助企业解决AI安全的热门问题，减少潜在的风险和漏洞。以应对数字化经济时代，在确保数据可用性的前提下，创造价值，改变世界。CSA《AI安全白皮书》也是CSA新兴技术认证CSAAI人工智能安全认证的官方学习用书，希望通过《AI安全白皮书》的学习，对于企业全面地建立数字安全体系提供重要保障与支持。 1AI赋能安全 1.1AI赋能安全 1.1.1AI赋能漏洞挖掘 1.1.1.1漏洞挖掘的发展历史 人工智能技术的发展和应用不断推动着网络安全攻防自动化和智能化的水平，目前已经在恶意代码检测、恶意流量分析、漏洞挖掘、僵尸网络检测、网络灰产检测等各领域有了广泛的应用。基于人工智能的漏洞挖掘方法通过训练大批量的漏洞代码样本，学习漏洞代码的语义、结构、指令序列等特征,从而能够自动化的定位到可疑代码。越来越多的安全公司都在增大对AI研究的投入，并将AI安全作为业务发展的重心，信息安全漏洞挖掘技术的发展历史可大致分为以下四个阶段。 第一阶段，人工代码安全审计，60年代就开始的一种漏洞挖掘方式，由专门的安全审计人员在开发过程中或发布前后检测和评估代码。但代码安全审计是一项复杂而繁琐的任务，需要具备专业的技术和知识，投入大量的时间和人力，在安全服务领域算是工作量最大的一种服务方式，并且存在检测不全面的情况。 第二阶段，静态分析工具辅助，70年代开始出现了一种用于分析应用程序源代码和二进制文件的技术SAST静态应用程序安全测试，但SAST无法考虑代码的上下文信息，也不能处理代码中变量和数据流的复杂性，所以有较高的漏报和误报率，所以还是需要人工进行验证和复审。 第三阶段，结合动态测试技术，90年代开始的黑盒模糊测试就是其中一种代表性技术，通过模拟攻击者可能使用的各种手段来评估软件系统的安全性，可以更好地发现系统可能存在的安全缺陷，但漏报概率较高和覆盖率相对较低，还 是有一定的限制。 第四阶段，人工智能漏洞挖掘，近10年间模糊测试技术已经从传统的黑盒模糊测试技术，逐步演进到了基于覆盖引导、定向模糊测试的灰盒模糊测试技术。随着人工智能与网络安全不断交叉融合，对于AI赋能于漏洞挖掘也有了新的探索，AIGC可以赋能模糊测试生成更精准的测试用例，融合覆盖引导、遗传算法、神经网络和AIGC等技术。 1.1.1.2全球业界的大力推动 2018年3月，美国国际战略研究中心（CSIS）在题为《美国机器智能国家战略》的报告中提出美国政府应在战略层面注重机器智能与人工智能发展齐头并进，纵观整个网络安全行业，尽管已经有很多安全公司提出了以AI和大数据为驱动的口号，但似乎还鲜少看到实际的应用落地。 图1美国CGC比赛现场 2023年9月份美国宣布发起为期两年的人工智能网络挑战赛（AI CyberChallenge，AIxCC），以推动自动化网络攻防技术的发展，保护美国的关键软件。该竞赛将由美国国防高级研究计划局（DARPA）牵头，旨在利用AI安全技术快速识别和修复关键软件漏洞。这是DARPA发起机器自动化网络对抗的超级挑战赛CGC(CyberGrandChallenge)之后，再次牵头主办的“人工智能网络挑战赛”，整个赛事的奖金总额为1850万美元（约合人民币1.33亿元），不论是从时间成本，还是资金投入，都可见美国政府对此赛事的重视程度非同一般。 放眼国内，近年来我国信息安全体系日趋完善，2017年印发的《新一代人工智能发展规划》，标志着我国人工智能发展进入到国家战略层面。在“十四五”规划纲要中，共有6处提及人工智能，并将“前沿基础理论突破，专用芯片研发，深度学习框架等开源算法平台构建，学习推理与决策、图像图形、语音视频、自然语言识别处理等领域创新”视为新一代人工智能领域的重点攻关方向。 图2中国首届国际机器人网络安全大赛RHG 智能化攻防技术也得到了迅速发展，RHG（RobotHackingGame）竞赛在国内逐渐兴起，陇剑杯、黄鹤杯、强网杯、网鼎杯、纵横杯等都有AI攻防赛道，进一步推动人工智能技术在网络安全自动化的应用和实践。为模拟实战应用场景和检验企业的自动化安全攻防能力，这类竞赛为自动化攻防技术的探索和应用提供了实践的土壤，推动智能化攻防技术进步，标志着漏洞攻防正逐步向智能化方向演进。 1.1.1.3漏洞挖掘的相关技术 目前，对于软件漏洞挖掘主要从源代码和二进制两个方面开展。其中针对发现漏洞的最佳实践方式有源代码审查、模糊测试、基于规则的静态分析、基于规则的动态分析等，这些方法在特定情况下针对特定二进制程序可以产生很好的检测效果，但仍然存在一些很难突破的先天缺陷，下面分别对6种代表性的漏洞挖掘技术作一下简要的介绍。 1.符号执行（SymbolicExecution）是一种静态分析技术，用于探索程序在不同执行路径上的行为，而不限于浅层路径。在程序执行过程中，将输入变量替换为符号变量，将程序的执行路径转化为约束条件。以达到绕过输入验证、触发故障修复或其他类型的漏洞利用的目的。 2.模糊测试（Fuzzing）用于向目标软件输入各种测试数据来发现漏洞或测试目标程序的鲁棒性。与符号执行和生成式测试的结合能够产生更多利用潜力的输入。将模糊测试中生成的输入作为符号化输入，然后进行符号执行路径探索，针对不同的输入生成一组约束条件。约束条件可以描述输入所需的特定属性或限制，例如特定的字节序列、特定的函数调用序列等。通过约束条件激活器解决这些约束条件，找到满足约束条件的具体输入，结合符号执行的约束条件和约束初始化。