中华人民共和国国家标准：网络安全技术——生成式人工智能服务的基本安全要求（征求意见稿）

翻译以下中国国家标准草案旨在提高安全性和安全性生成AI服务。该标准解决了一些相关的网络安全问题使用生成式AI，但首要的重点是防止AI系统生成内容共产党认为令人反感，例如色情，欺凌，仇恨言论，诽谤、侵犯版权和批评党对权力的垄断。Title中华人民共和国国家标准：网络安全技术基本安全生成人工智能服务要求(反馈草案)中华人民共和国国家标准：网络安全技术生成式人工智能服务安全基本要求（征求意见稿）Authors 国家市场监管局和标准化中国管理局(国家标准化管理人员) 来源国家网络安全标准化技术委员会260网站 中国(SAC/TC260;全国网全标标准化科技会员;网标),2024年5月17日. 中文源文本可在以下网址在线获得： https://www.tc260.org.cn/file/2024-05-17/9e2853d0-99a0-49c2-9df7-ccaada842ac5.pdf 中文源文本的存档版本可通过以下网址在线获得：https://perma.cc/4PWY-GGN6翻译日期2024年12月5日 翻译者等语言集团有限公司. EditorBenMurphy，CSET翻译经理 中华人民共和国国家标准 网络安全技术-生成的基本安全要求 人工智能服务 (反馈草案) 国家市场监管总局中国发行人标准化管理委员会 Contents 前言.二 1范围…………………………………………………………………………………… 2规范性参考文件………………………………………………………………………… 3术语和定义。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。 3.1生成式人工智能服务。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。 3.2服务商2 3.3培训数据………………………………………………………………………… 4概述…………………………………………………………………………………… 5培训数据安全要求……………………………………………………………………… 5.1数据源安全性。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。 5.2数据内容安全…………………………………………………………………… 5.3数据注释安全性5 6模型安全要求 7安全措施要求8 附录A培训数据主要安全风险及生成内容…… 附录B(供参考)关键安全评估参考点13 前言 本文件按照GB/T1.1-2020的规定起草 标准化工作指令第1部分:标准化文件的结构和起草规则. 本文件由中国国家标准化管理委员会（SAC）下属的网络安全技术委员会260分会提出并负责管理。 本文件的起草组织：起草人: 网络安全技术-基本安全1生成人工智能服务的要求 1范围 本文档2规定了生成型人工智能服务的基本安全要求，包括训练数据安全、模型安全以及安全措施，并提供了安全评估要求。 本文件适用于执行安全评估的服务提供商，并为相关的主要监管机构（主管部门）提供参考。 2规范性参考文件 下列文件的内容通过本文的规范引用构成了本文件的不可或缺的规定。其中，对于有日期引用的文件，仅该日期对应的版本适用于本文件；对于无日期引用的文件，最新版本（包括所有修改版）适用于本文件。 信息安全技术术语GB/T25069-2022 3术语和定义 GB/T25069-2022中定义的及下列术语和定义适用于本文件。 3.1生成人工智能服务 生成人工智能技术用于向公众提供文本、图形、音频、视频及其他内容生成服务。 1译者注：标准标题及文本中多次出现的中文词汇“安全”（ānquán）可翻译为“安全”或“安全”。该标准的中文作者提供了以下标题的英文翻译：“Basicsafetyrequirementsforgenerativeartificialintelligenceservice”。然而，CSET的英文翻译中，在大多数情况下将“安全”翻译为“安全”，因为在本标准的上下文中，作者主要讨论的是生成性人工智能服务预防事故或意外问题（即“安全”），而非防止故意滥用或破坏（即“安全”）。 2译者注：本标准的作者基于SAC/TC260在2024年2月发布的AI安全技术文档制定了该标准。有关的技术文档的英文版本可在CSET的网站上查阅：https://cset.georgetown.edu/publication/china-safety-requirements-for-generative-ai-final/. 3.2服务提供商 提供生成式AI服务的组织或个人，以交互界面、可编程接口等形式呈现。 3.3培训数据 直接作为模型训练输入的所有数据，包括预训练和优化训练数据。 4Overview 这份文件旨在帮助服务提供商建立生成式AI服务的网络安全基线，并提高服务的安全水平。针对当前生成式AI服务面临的关键问题，如网络安全、数据安全和个人信息保护，它提出了涵盖整个服务生命周期的安全要求，以在服务过程中预防和减轻涉及应用场景 、软件和硬件环境、生成内容以及权益保护的安全风险。 对于生成式AI服务上线前的模型开发过程，本文件重点关注训练数据来源安全、训练数据内容安全、数据标注安全以及模型安全。对于服务提供过程，在服务向公众开放后，本文件重点关注在服务提供过程中应采取的安全措施。 5培训数据安全要求 5.1数据源安全 对提供者的要求如下。 a)数据采集源管理: 1）在从特定来源收集数据之前，应对该来源的数据进行安全评估。如果数据包含超过5%的违法不良信息，则不应从该来源收集数据。 2）在从特定来源收集数据后，需要对从该来源收集的数据进行验证。若该数据包含超过5%的非法和不健康信息，则不应使用该数据进行训练。 Note:本文件重点关注的非法和不健康信息主要指的是包含附录A.1至A.4中任意29种安全风险类型的信息。 b)不同来源的训练数据匹配: 1）应增加训练数据来源的多样性，并为每种语言（如中文、英语等）及每种类型的数据（如文本、图像、音频和视频）提供多个数据源。 2)如果有必要使用来自国外的训练数据3来源，应与国内来源的培训数据合理匹配。 c)训练数据源可追溯性: 1）在使用开源训练数据时，必须拥有相应数据源的开源许可协议或相关授权文件； Note1:在网络地址、数据链接等聚合后的地址能够指向或生成其他数据的情况下，如果需要将由此指向或生成的内容作为训练数据使用，则应将其视为与自行收集的训练数据相同。 2）当使用自行收集的训练数据时，提供方必须有收集记录，并不得收集他人已明确声明不得收集的数据。 Note2:自收集的训练数据包括自产生的数据和从互联网收集的数据。 Note3：未经允许采集的数据，如通过robotsexclusion协议或其他技术手段限制采集的网页数据，或个人明确拒绝授权采集的个人信息。 3)使用商业培训数据时： -有必要有一个合法有效的交易合同，合作协议等； -当交易对手或合伙人无法就 3translator'snote:中文词语“境外”（jìngwài）在整个文档中被译为“国外”，其字面意思是“中国大陆边境之外”。该术语不仅指外国国家，还包括香港、澳门和台湾。“境内”（jìngnèi），意为“中国大陆境内” ，在此整个文档中被译为“国内”。 来源、质量和安全性方面的培训数据，以及相关支持材料，禁止使用。——需审查对方或合作伙伴提供的培训数据、承诺和支持材料。4）当用户输入信息作为训练数据时，必须有用户授权记录。 5.2数据内容安全 对提供者的要求如下。 a)培训数据内容过滤：对于每种类型的培训数据，如文本、图像、音频和视频，在用于训练之前均需进行过滤。过滤方法包括但不限于关键词过滤、分类模型以及人工抽检（人工抽检），用于从数据中去除非法和不健康的信息。 b)知识产权: 1）应建立培训数据知识产权管理策略，并指定负责人。 2)在数据用于培训之前，主要知识产权(IPR) 应识别数据中的侵权风险。如果知识产权侵权或其他发现问题，服务提供商不得使用相关数据进行 出训练。 Note:如果培训数据包含文学、艺术或科学作品，则有必要专注于识别培训数据中的版权侵权问题和 生成的内容。 3)知识产权问题的投诉报告渠道应已建立。 在生成内容的使用中与知识产权相关的风险应在用户服务协议中向用户传达，并与用户协商确定相关责任和义务。 5）根据国家政策和第三方投诉，相关的知识产权策略应适时更新。 6)应(适当)采取以下知识产权措施： -披露培训数据中与知识产权相关部分的摘要信息； —支持通过投诉报告渠道处理第三方关于培训数据使用及相关知识产权情况的查询。 c)个人信息: 1）在使用包含个人数据的训练数据之前，应当获得相应个体的同意，并遵守法律法规和其他相关规定； 在使用包含敏感个人数据的训练数据之前，应当获得每位相应个体的单独同意 ，并遵守法律法规和其他相关规定； 5.3数据注释安全性 对服务提供商的要求如下。 a)Annotators: 1）应组织标注人员进行内部安全培训。培训内容应包括标注任务规则、标注工具使用方法、标注内容质量验证方法、标注数据安全管理要求等； 2）服务提供商应自行对注释员进行审查，并建立定期复训和重新评估的机制，必要时暂停或撤销注释员的资质；评估内容应包括理解注释规则的能力、使用注释工具的能力、确定安全风险的能力以及管理数据安全的能力。 3）注释员的职责至少应分为数据标注和数据审核；同一个注释任务中不应由同一组注释员承担多个职能； 4)注释者应留出足够和合理的时间来执行每个注释任务。 b)注释规则: 1）注解规则至少应包括注解目标、数据格式、注解方法和质量指标等内容； 2）功能性标注和安全性标注的规则应分别制定，并且标注规则至少应涵盖数据标注和数据审核； 3）功能性标注规则应当足够详细，以指导标注人员根据特定领域的特点生成具备真实性、准确性和客观性的标注数据，以及具有多样性的标注数据； 4）安全性标注规则应当足够详细，以指导标注人员标注训练数据及其生成内容的主要安全风险，并且附件A中所列的31种类型的安全风险都应有相应的标注规则。 c)标注内容准确度: 1）对于功能注释，每批次标注训练数据应手动采样，如发现内容不准确，则需重新标注；如发现内容包含非法或不健康信息，则该批次训练数据将被无效化；2 ）对于安全注释，每条标注的数据需至少由一名审核员审核并批准。 d)应进行安全相关注释数据的隔离存储。 6模型安全要求 对提供者的要求如下。 a)模型训练: 在训练过程中，生成内容的安全性应被视为评估生成结果成功与否的主要指标之一。 Note:模型生成的内容是指由模型直接输出且未经过其他处理的原创内容。 2）应定期对开发框架、代码等进行安全审计，重点关注开源框架安全性和漏洞问题，并识别和修复安全漏洞。 b)模型输出: 1）生成内容的准确性：将采用技术措施以提高生成内容对用户输入意图的响应能力，提高生成内容中的数据和表达与常见科学知识和主流认知的一致性，并减少其中的错误内容。 2）生成内容的可靠性：应采用技术措施以提高生成内容格式框架的合理性，并增加有效内容的比例，从而提高生成内容对用户的帮助性； 3）对于拒绝回答、回答明显极端的问题以及明显诱导生成非法和不健康信息的问题应当予以拒绝；其他所有问题应正常回答。 生成的内容如图像和视频的标注应符合相关国家规定和标准文件的要求。 c)模型监测: 1）应持续监控模型输入内容，以防止恶意输入攻击，如注入攻击、后门攻击、数据窃取和对抗性攻击； 2）应建立规范化的监控与评估方法及模型应急管理体系。在服务提供过程中通过监控与评估发现的安全问题应得到及时处理，并通过针对性的指令微调、强化学习等方法对模型进行优化。 d)模型更新升级: 1）应制定一套安全管理策略，以应对模型更新和升级的情况；2