人工智能安全治理框架

AI安全治理框架 国家网络安全技术委员会260SAC2024.9 Content 1.AI安全治理的原则……………………………………………………… 2.人工智能安全治理的框架……………………………………………… 3.人工智能安全风险的分类… 3.1人工智能固有的安全风险………………………… …………………………………………………… …………………………………………………… ………… ……………………………………………………4、应…对…风…险…的技…术…措…施……………………13…………… 4.1解决AI固有的安全风险…………………………… …………………………………………………… …………………………………………………… …… ……………………………………………………5.全…面治…理…措…施………………………………………17… 6.AI开发和应用的安全指南21 6.1模型算法开发者✁安全指南.21 6.2AI服务提供商的安全指南23 6.3关键领域用户的安全指南24 6.4一般用户的安全指南26 AI安全治理框架 AI安全治理框架 (V1.0) 人工智能（AI），一个新兴的人类发展领域，为世界带来了重大机遇，同时也提出了各种风险和挑战。秉持以人民为中心的原则，遵循“AI为善”的基本原则，该框架旨在实施全球人工智能治理倡议，并促进政府、国际组织、公司 、研究机构、民间组织和个人之间的共识与协调努力，在人工智能安全治理方面共同行动，旨在有效预防和化解AI安全风险。 1.AI安全治理原则 致力于共同、全面、合作和可持续的安全愿景，同时同等重视发展与安全。 -优先考虑AI的创新发展 -以有效预防和化解AI安全风险为出发点和最终目标 AI安全治理框架 建立治理机制，涵盖所有利益相关者，整合技术和管理，确保各方之间的协调努力和合作 -确保所有相关方充分承担起AI安全责任 -创建一个全流程、全要素的治理链 -为技术研究，开发和应用提供安全，可靠，公平和透明的AI -促进人工智能的健康发展和规范应用 ——切实维护国家主权、安全、发展利益 -保护公民、法人和其他组织的合法权益 ——保证AI技术造福人类 1.1包容审慎，确保安全 我们鼓励发展与创新，并采取包容性方法进行人工智能的研究、开发与应用 。我们全力确保人工智能的安全性，并将及时采取措施应对任何可能威胁国家安全、损害公众利益或侵犯个人合法权益的风险。 1.2通过敏捷治理识别风险 通过紧密追踪人工智能研究、开发和应用的趋势，我们从技术本身及其应用两个视角识别AI安全风险。我们提出定制化的预防措施以减轻这些风险。我们遵循安全风险的发展，根据需要迅速调整我们的治理措施。我们致力于改进治理机制和方法，并对需要政府监督的问题做出及时响应。 1.3整合技术和管理以协调应对 我们采用全面的安全治理方法，将技术和管理相结合，以预防和解决AI研究 、开发和应用全过程中各种安全风险。在AI研究、开发和应用的链条中，确保所有相关方，包括模型和算法的研究者与开发者、服务提供商和服务用户 ，各自承担起AI安全的责任至关重要。此方法充分利用了政府监督、行业自律和社会监督等治理机制的作用。 1.4促进开放与合作，共同治理和共享利益 在全球范围内分享人工智能安全治理的最佳实践，我们推动国际间的合作。我们提倡建立开放平台，并通过跨学科、跨领域、跨地区和跨国界的对话与合作，致力于构建全球人工智能治理体系，努力达成广泛的共识。 2.AI安全治理框架 基于风险管理的理念，该框架概述了通过技术与管理策略来应对不同类型的AI安全风险的控制措施。随着AI研究、开发及应用的快速演进，导致安全风险的形式、影响以及我们对其的认知均发生改变，持续更新控制措施并邀请所有利益相关方共同完善治理体系变得至关重要。 2.1安全和安全风险 通过考察人工智能技术及其在各个行业和领域的应用情景的特点，我们明确了与技术本身及其应用固有相关且安全与安全风险、潜在危险。 2.2技术对策 关于模型和算法，训练数据，计算设施， 针对产品与服务、以及应用场景，我们提议采取针对性的技术措施以提升人工智能产品的安全性和可靠性、公平性、稳定性和健壮性。这些措施涵盖安全软件开发、数据质量优化、加强系统与操作安全、以及执行评估、监控和强化活动。 2.3综合治理措施 遵循协同努力和联合治理的原则，我们明确了所有利益相关方——包括技术研发机构、产品和服务提供商、用户、政府部门、行业协会和社会组织——应采取的措施以识别、预防和应对AI安全风险。 2.4AI开发和应用的安全指南 我们提出了一系列安全指导方针，适用于AI模型和算法开发者、AI服务提供商、关键领域用户以及一般用户，旨在开发及应用AI技术。 3.AI安全风险的分类 AI链条的每一个阶段都存在安全风险，从系统设计到研发（R&D）、训练、测试、部署等。 利用和维护。这些风险源自固有的技术缺陷，以及对AI的误用、滥用和恶意使用。 3.1AI固有安全风险 3.1.1模型和算法的风险 (a)可解释性的风险 人工智能算法，以深度学习为代表，具有复杂的内部运作机制。它们的黑盒或灰盒推理过程导致不可预测且无法追踪的输出结果，这使得在出现异常情况时，难以快速修正这些问题或追溯其源头以确保责任可追溯性。 (b)偏见和歧视的风险 在算法设计与训练过程中，可能会有意或无意地引入个人偏见。此外，数据质量差可能导致算法设计和输出结果出现偏见或歧视性结果，包括针对种族 、宗教、国籍和地区的内容歧视。 (c)稳健性风险 鉴于深度神经网络通常非线性且规模庞大，AI系统容易受到复杂多变的操作环境或恶意干扰的影响，可能导致性能下降、决策错误等各种问题。 (d)偷窃和篡改的风险 核心算法信息，包括参数、结构和功能，面临着被反转攻击、窃取、修改，甚至后门注入的风险，这可能导致知识产权（IPR）侵犯和商业秘密泄露。还可能导致不可靠的推理、错误的决策输出，乃至操作失败。 (e)产出不可靠的风险 生成式AI可能导致幻觉，这意味着AI模型生成的可能是不真实或不合理的内容，并将其呈现为事实，从而导致偏见和误导性信息。 (f)对抗性攻击的风险 攻击者可以设计出精心构造的对抗性示例，以微妙的方式误导、影响甚至操控AI模型，导致输出错误，并可能引发操作失败。 3.1.2数据风险 (a)非法收集和使用数据的风险 AI训练数据收集和服务过程中与用户互动存在安全风险，包括未经同意收集数据以及不当使用数据和个人信息。 (b)培训数据内容不当和中毒的风险 如果训练数据包含了非法或有害信息，如虚假、偏见和侵犯知识产权的内容 ，或者其来源缺乏多样性，那么输出可能会包含诸如非法、恶意或极端等有害内容。训练数据还面临被篡改、错误操作导致污染的风险。 注入，或攻击者的误导行为。这可能会干扰模型的概率分布，降低其准确性和可靠性。 (c)不规范的训练数据注释的风险 训练数据注释存在的问题，如不完整的注释指南、不具备能力的标注者以及注释错误，可能会影响模型和算法的准确度、可靠性和有效性。此外，这些问题可能会引入训练偏见，加剧歧视，降低泛化能力，并导致输出错误。 (d)数据泄露风险 在人工智能的研究、开发和应用领域，不当的数据处理、未经授权的访问、恶意攻击以及误导性互动等问题可能导致数据和个人信息泄露。 3.1.3AI系统的风险 (a)通过缺陷和后门进行剥削的风险 设计、训练及验证阶段的AI算法与模型所使用之标准化API、特性库、工具集 ，开发界面以及执行平台中可能包含逻辑缺陷与脆弱性。这些弱点可能被利用，且在某些情况下，故意嵌入后门，从而引发重大风险，用于攻击行动。 (b)计算基础设施安全的风险 支撑AI训练和运营的计算基础设施，依赖于多样化的普遍计算节点以及各种类型，构成了其基础。 在计算资源层面，面对着诸如恶意消耗计算资源和安全威胁跨境传播等风险 。 (c)供应链安全的风险 人工智能产业依赖高度全球化的供应链。然而，某些国家可能会采取单边强制措施，如技术壁垒和出口限制，以制造发展障碍并恶意破坏全球人工智能供应链。这可能导致芯片、软件和工具供应中断的重大风险。 3.2AI应用中的安全风险 3.2.1网络空间风险 (a)信息和内容安全的风险 人工智能生成或合成的内容可能导致虚假信息的传播、歧视和偏见、隐私泄露以及侵权问题，威胁到公民生命财产安全、国家安全、意识形态安全，并引发伦理风险。如果用户输入包含有害内容，模型可能在缺乏强大的安全机制的情况下输出非法或损害性信息。 (b)混淆事实、误导用户和绕过认证的风险 人工智能系统及其输出，若未明确标注，可能会使用户难以辨识是否正在与AI交互，以及识别出具体是哪一种AI。 生成内容的来源。这可能阻碍用户判断信息真实性的能力，导致误判和误解 。此外，AI生成的高度逼真的图像、音频和视频有可能绕过现有的身份验证机制，如面部识别和语音识别，从而使这些验证过程失效。 (c)使用不当导致信息泄露的风险 政府机构和企业员工若未能以合规、恰当的方式使用AI服务，可能会将内部数据和产业信息输入到AI模型中，从而导致工作秘密、商业秘密及其他敏感业务数据泄露。 (d)滥用网络攻击的风险 人工智能可以在发起自动网络攻击或提高攻击效率方面被应用，包括探索和利用漏洞、破解密码、生成恶意代码、发送钓鱼邮件、网络扫描以及社会工程攻击。这些都降低了网络攻击的门槛并增加了安全防护的难度。 (e)模型重用导致的安全缺陷传播风险 基于基础模型的重新设计或微调常用于AI应用中。如果基础模型出现安全漏洞，这将导致风险传递至下游模型。 3.2.2现实世界的风险 (a)引发传统的经济和社会保障风险 人工智能在金融、能源、电信、交通以及民生领域如自动驾驶和智能诊断治疗等方面被应用。模型和算法的幻觉与误判，以及由于不当使用或外部攻击导致的系统性能下降、中断和失控等问题，将对用户的个人安全、财产以及经济社会安全稳定构成安全威胁。 (b)在非法和犯罪活动中使用人工智能的风险 人工智能可以被用于与恐怖主义、暴力、赌博和毒品相关的传统非法或犯罪活动，例如教授犯罪技巧、隐藏非法行为以及制作用于非法和犯罪活动的工具。 (c)两用物品和技术被滥用的风险 由于不当使用或滥用，人工智能可能对国家安全、经济安全和公共卫生安全构成严重风险，例如极大地降低了非专家设计、合成、获取和使用核、生物 、化学武器及导弹的能力要求；设计能够通过自动漏洞发现与利用等方法对各种潜在目标发起网络攻击的网络武器。 3.2.3认知风险 (a)放大“信息茧”效应的风险 人工智能可以广泛应用于定制化信息服务，收集用户信息，并分析不同类型的用户、他们的需求、意图、偏好、习惯，乃至特定时间段内的主流公众意识。 时期。然后，它可以用来提供公式化和量身定制的信息和服务，加剧“信息茧”的影响。 (b)发动认知战的使用风险 人工智能可以用于制造和传播假新闻、图像、音频和视频，传播恐怖主义、极端主义和有组织犯罪的内容，干涉他国内政、社会体系和社会秩序，危害其他国家的主权。人工智能可以通过社交媒体机器人在网络空间获得话语权和议程设置能力，塑造公众价值观和认知思考。 3.2.4道德风险 (a)加剧社会歧视和偏见以及扩大情报鸿沟的风险 人工智能可以用于收集和分析人类行为、社会地位、经济状况以及个人特质 ，对人群进行标签化和分类，以歧视性的方式对待不同群体，从而导致系统性和结构性的社会歧视与偏见。同时，这种差异也会在不同地区之间扩大智能鸿沟。 (b)挑战传统社会秩序的风险 人工智能的发展和应用可能导致生产工具和关系的巨大变化，加速传统产业模式的重构，改变传统的就业、生育、教育观念，给传统社会秩序的稳定运行带来挑战。 (c)未来人工智能变得无法控制的风险 随着人工智能技术的快速进展，存在AI自主获取外部资源、自我复制、获得自我意识、寻求外部力量，并尝试从人类手中夺取控制权的风险。 4.应对风险的技