通用人工智能AGI等级保护白皮书

通用人工智能AGI等级保护白皮书 （2023版） 网络安全等级保护与安全保卫技术国家工程研究中心 2023年7月 引言 党的二十大提出，要建设现代化产业体系，推动战略性新兴产业融合集群发展，构建人工智能等一批新的增长引擎。2023年4月28日，中共中央政治局召开会议，指出要重视通用人工智能发展，营造创新生态，重视防范风险。 当前，通用人工智能已成为继移动互联网技术之后最大的一波技术浪潮，而预训练大模型作为人工智能从专业智能走向通用智能的关键技术，在全球范围内引发科技巨头争相布局、掀起创业热潮的链式反应，同时也在技术合规、网络安全、隐私保护及社会伦理法律等方面带来了新的风险和挑战。只有有效应对这些风险和挑战，才能使通用人工智能真正服务于社会和产业，确保国家安全、企业安全和个人安全不受威胁。 为贯彻落实国家发展新一代人工智能的决策部署，全面贯彻总体国家安全观，公安部第三研究所充分发挥在网络等级保护领域国家队的优势，并依托国家级创新平台——网络安全等级保护与安全保卫技术国家工程研究中心，成立通用人工智能安全工作组，旨在重点研究通用人工智能发展现状、安全风险、网络安全等级保护合规需求以及赋能等级保护场景等，并初步形成《通用人工智能等级保护白皮书 （2023版）》，全面介绍当前公安部第三研究所在通用人工智能等级保护工作方面研究进展情况，分享相关工作经验，为推动我国人工智能高质量发展和全方位各领域高水平应用保驾护航。 术语和定义 1、人工智能ArtificialIntelligence，AI 人工智能是一门研究如何使计算机能够模拟、模仿和执行人类智能活动的科学与技术。它涉及构建智能系统，使其能够感知、理解、学习、推理、决策和交互，以解决复杂的问题和执行各种任务。 2、通用人工智能ArtificialGeneralIntelligence，AGI 通用人工智能是一种能够像人类一样拥有智能、学习、推理、解决问题和适应新环境的人工智能系统，也称为强人工智能。AGI的目标是实现人类智能的所有方面，包括感知、认知、思考、学习和创造等。 3、狭义人工智能ArtificialNarrowIntelligence，ANI 狭义人工智能是一种专注于解决特定问题或执行特定任务的人工智能系统，也称为弱人工智能。ANI的能力通常是基于预定义的算法和规则，无法像人类一样适应新环境或解决未知问题。 4、超级人工智能ArtificialSuperintelligence，ASI 超级人工智能是一种超越人类智能的人工智能系统，也称为强人工智能。目标是实现比人类智能更高的智能水平，能够解决人类无法解决的问题。 5、预训练大模型Pre-trainedLargeMode，PLM 预训练大模型是指在大规模数据集上进行预训练的模型。预训练是指在一个任务或数据集上进行初始训练，以学习通用的特征表示或模型参数。 6、模型即服务ModelasaService，MaaS 模型即服务是一种基于云计算的AI服务模式，它提供了一种将机器学习和深度学习模型转换为可重复使用的服务的方式。 目录 引言I 术语和定义II 1通用人工智能发展现状1 1.1通用人工智能的组成架构2 1.2通用人工智能参与方7 1.3通用人工智能网络安全应用趋势9 2通用人工智能安全风险分析12 2.1传统安全风险12 2.2数据泄露和滥用风险15 2.3模型可靠性风险17 2.4大模型滥用误用风险20 3通用人工智能等级保护合规需求23 3.1安全物理环境23 3.2安全通信网络27 3.3安全区域边界29 3.4安全计算环境32 3.5安全管理中心39 3.6安全管理制度41 3.7安全管理机构44 3.8安全管理人员46 3.9安全建设管理49 3.10安全运维管理54 4通用人工智能赋能等级保护60 4.1网络安全等级保护知识赋能场景61 4.2等级测评赋能场景68 4.3等级保护培训赋能场景73 5总结75 参考文献76 1通用人工智能发展现状 本章主要介绍通用人工智能的基本情况，包括其发展历史、现状以及组成架构等内容。本文还将通过从技术角度出发来分析通用人工智能在网络安全领域的应用趋势。 人工智能（ArtificialIntelligence,AI）的出现和发展具有一个漫长的历史过程。简单来说，从20世纪50年代开始，科学家们就开始了对人工智能的研究，并提出了一些理论和算法，但由于技术和计算能力的限制，最初的人工智能应用相对较为简单，甚至受到了一些挫折和停滞。到了21世纪初，随着计算机硬件技术的快速发展，加之大量数据的可用性，以及机器学习、深度学习等新技术的兴起，人工智能得以迎来了全面的发展。 当前，人工智能大致可分为狭义人工智能（ANI）、通用人工智能（AGI）和超级人工智能（ASI）。 狭义人工智能（ANI）指的是一种专注于解决特定问题或执行特定任务的人工智能系统，也称为弱人工智能。ANI的能力通常是基于预定义的算法和规则，无法像人类一样适应新环境或解决未知问题。狭义人工智能的实现基础是通过收集和分析大量的数据，利用机器学习、深度学习等技术来训练网络模型，从而使得机器可以从输入的数据中自动提取特征和算法，进而给出相应的输出结果。其目前应用非常广泛，如语音识别、图像识别、自然语言处理、推荐算法、智慧城市、智能家居、机器人等领域中都有大量的应用案例。 通用人工智能（AGI），也称为强人工智能或者深度人工智能，是一种能够像人类一样拥有智能、学习、推理、解决问题和适应新环境的人工智能系统。与目前较为常见的ANI相比，AGI具有思考、理解、学习和应用其智能来解决复杂问题的能力。目前，由于技术的限制和人工智能领域的研究方向问题，实现AGI仍然是一项挑战性任务。如果能够实现AGI，可以为解决许多关键问题提供极大帮助，例如医疗和健康、环境保护、教育、金融和安全等领域。但是，要实现AGI，需要克服诸如数据获取、算法设计、计算性能、伦理和法律等多种难题。 超级人工智能（ASI）是一种超越人类智能的人工智能系统，也称为强人工智能。它具备极高的智慧水平和创造力，能够在不同领域中做出复杂的判断、解决问题并创造出新的知识。其不仅能理解人类的情感和经历，还能唤起人类的情感、信念和欲望。与狭义人工智能和通用人工智能不同，超级人工智能更像是一种人工生命形态，而非纯技术的产物。 人工智能的发展也带来了许多挑战和讨论，包括数据隐私、伦理道德、人机关系等方面的问题。然而，人工智能的应用前景仍然广阔，它有望在各个领域带来更多的创新和突破，为人类生活和社会发展带来积极的影响。 1.1通用人工智能的组成架构 本小节将主要介绍通用人工智能的组成架构，包括平台层、模型 层、数据层和应用层等，并阐述每一层的作用和主要内容。本文还将介绍各层之间的关系以及它们的合作模式，以便把握AGI的整体运行机制。 1.1.1平台层 图1通用人工智能平台框架 平台层是指用于搭建、训练和部署AGI模型的基础设施和工具集合。这一层的目标是为开发者提供一个高效、灵活、可扩展的环境，以支持不同类型的AGI应用程序和服务。 通用人工智能的平台层通常包括计算平台、存储平台、开发工具和框架、API和SDK，这些平台可以是云端的、本地的或是混合的。 其中计算平台用于处理AGI模型训练和推理所需的计算任务，通常采用GPU、TPU等专门加速器进行计算。 存储平台用于存储训练数据、模型参数、日志和其他文件等，支持高可用性、可扩展性和安全性。 开发工具和框架用于创建和管理AGI模型的代码和资源，可支 持不同的编程语言和开发框架，例如Python、TensorFlow、PyTorch等，开发者可以利用这些工具和框架来创建、训练和部署自己的AGI模型。API（应用程序接口）和SDK（软件开发工具包）用于简化AGI服务的集成和使用，可提供对AGI功能的访问界面，例如语音识别、图像识别、自然语言处理等，可为开发者快速搭建AGI应用程序和服务。 平台层为AGI开发者提供了高效、灵活、可扩展的环境，帮助他们更好地搭建、训练和部署AGI模型，从而支持不同类型的AGI应用程序和服务。 1.2.1模型层 模型层是指用于解决各种问题的机器学习和深度学习模型、算法和技术，其目标是探索和研究不同类型的模型，以更好地解决各种问题。模型层通常由机器学习模型、深度学习模型、计算机视觉技术、自然语言处理技术和强化学习技术几部分组成。 机器学习模型用于处理结构化数据的模型，例如回归分析、决策树、支持向量机等。这些模型适用于各种业务场景，例如金融预测、客户关系管理等。 深度学习模型用于处理非结构化数据的模型，例如图像、语音、文本等。这些模型使用神经网络来解决复杂的问题，例如图像分类、自然语言处理等。 计算机视觉技术包括各种用于处理图像和视频的技术，例如图像识别、物体检测、人脸识别等。 自然语言处理技术包括各种用于处理文本和语音的技术，例如文本分类、情感分析、机器翻译等。 强化学习技术用于训练AGI模型进行智能决策的技术，例如棋类游戏、机器人控制等。 常见的模型层有适用于图像分类、目标检测、自然语言处理等任务的浅层神经网络模型；适用于语音识别、文本生成、机器翻译等任务的深度神经网络模型；由一系列决策节点组成的树状结构，适用于分类和回归任务的决策树模型；将多个决策树进行集成的集成学习模型；可将高维空间映射到低维，通过超平面最大化间隔距离来进行分类的支持向量机模型；此外还有聚类模型和生成对抗网络模型等。 不同的模型和技术可以被应用于各种不同的场景，例如自动驾驶、医学影像诊断、语音助手、金融预测等。AGI开发者可以根据需求和场景选择适合的模型和技术，从而构建更加精准、高效和智能的AGI应用程序和服务。 1.2.2数据层 数据层是指用于获取、存储和处理数据的技术和工具。在通用人工智能中，数据是非常重要的资源，越是高质量、多样化、具有代表性的数据，就能够让AGI模型拥有更好的学习效果，从而提升其性能和效率。数据层通常包括数据获取、数据清洗和预处理、数据存储和管理、数据分析和挖掘、数据标注和增强等。 数据获取包括各种方式和渠道的数据采集和收集，例如网络爬虫、传感器、数据库和数据集等，其需要根据具体的业务需求和场景进行 规划和设计，以确保获取到的数据具有足够的多样性和质量。 数据清洗和预处理是指借助各种工具和技术对采集到的数据进行筛选、整合、去噪、归一化等处理，以使其更加适合用于机器学习和深度学习，例如Python的数据处理库NumPy和Pandas、机器学习框架Scikit-learn等。 数据存储和管理是将处理后的数据存储到数据库或其他数据存储系统中，以便于后续使用和分析，常见的数据存储系统包括关系型数据库、NoSQL数据库、分布式文件存储系统等。 数据分析和挖掘是借助各种工具和技术对各种统计学和机器学习算法获得的数据进行分析和挖掘，以发现数据中的规律和趋势，例如Python的数据分析库Pandas和可视化库Matplotlib、机器学习框架TensorFlow和PyTorch等。 数据标注和增强是对数据特征进行显示标记和扩充的手段，以提高AGI模型的学习效果和泛化能力，数据标注和增强需要注意数据的准确性和可用性。 数据层是构建AGI模型的基础，其中的每个组件都需要花费大量的时间和精力进行设计、优化和调试。 1.2.3应用层 应用层是最终服务于用户的层次，它主要负责将通用人工智能的算法以及数据运用到实际解决问题的应用场景中，以更好地为用户提供实用和优质的智能服务。在实际应用中，通用人工智能可以涉及多个领域、多个垂直行业和不同的应用场景，并且随着智能技术自身的 深化，其应用场景还将不断扩展。 在整个通用人工智能系统中，平台层、模型层、数据层和应用层之间相互协作。平台层提供计算资源和AGI库，帮助模型层快速训练和优化；数据层提供数据监控和清洗功能，确保模型层使用数据的质量和安全