人工智能应用系统内生安全蓝皮书（2024年）

人工智能应用系统内生安全蓝皮书 (2024年) 中国通信学会内生安全专业技术委员会 2024年11月 版权声明 本蓝皮书版权属于中国通信学会内生安全专业技术委 员会，并受法律保护。转载、摘编或利用其它方式使用本报 告文字或者观点的，应注明“来源：中国通信学会内生安全 专业技术委员会”。违反上述声明者，本学会将追究其相关 法律责任。 专家组和撰写组名单 顾问（以姓氏笔划为序）： 鄂江兴 专家组：组长： 张帆国家数字交换系统工程技术研究中心教授 副组长： 黄瑞阳国家数字交换系统工程技术研究中心教授。 成员(以姓氏笔划为序)： 姓名 单位 职务 陈曦 国家数字交换系统工程技术研究中心 助理研究员 郭威 国家数字交换系统工程技术研究中心 副教授 邹 复旦大学大数据研究院 副院长 尚玉婷 复旦大学大数据研究院 助理研究员 李建鹏 郑州大学 助理研究员 李邵梅国家数宇交换系统工程技术研究中心副研究员高彦钊国家数字交换系统工程技术研究中心副研究员撰写组（按单位排名） 单位个姓名 紫金山实验室杜加玉 紫金山实验室黄炜 紫金山实验室苗馨远 紫金山实验室普毅 紫金山实验室董方旭 紫金山实验室杨秋龙 紫金山实验室朱进 紫金山实验室黄潇 紫金山实验室陈鑫 紫金山实验室周志中 紫金山实验室彭自文 紫金山实验室多乔明起 内生 序言 当前人工智能（ArtificialIntelligence，AI）技术已经成为推动社 会经济发展的新引擎。然而，正如哲学家黑格尔指出的那样：“一切 事物都是自在性盾的”，任何伟大的技术发明在创造前所未有的机 遇同时，也一定会衍生或伴随前所未有的挑战。当前数据投毒、算法偏见、模型脆弱性和运行环境内生安全威胁等问题频发，不仅影响到AI应用系统可用性和可靠性，还能会触及隐私保护网络安全、社 会稳定乃至生命财产安全和认知混乱等可信性方面的技术伦理议题。因此，构建一套能够抵御内外部威胁、确保AI健康可持续发展的安 全体系，已成为智能时代不可或缺的刚需，必须防范重蹈“先发展后治理”陈旧理念和模式覆辙。 哥德尔不完备性定理指出，即使是最精密细致设计的系统，也无法证明不存在不确定性风险。AI应用系统涵盖了从数据治理、模型 训练、部署应用，到运行监控及反馈优化等环节，每一个步骤都有可能引入不确定性因素，主要表现在：一是AI应用系统运行环境仍基于冯·诺依曼的存储程序控制机理或架构，不可避免的存在“娘胎里 带来基因缺陷”；另一方面，AI模型算法特有的“黑盒”效应具有 不可解释性、不可判识性和不可推论性，使其成为悬在任何实用化的AI应用系统之上的“达摩克利斯之剑”或 现有AI安全防御方法主要依赖“亡羊补牢，吃一堑长一智”的 经典反脆弱性方法论，这种策略尽管能够在一定程度上防范已知威胁， 但任何附加的安全算法或措施都无法杜绝自身存在的内生安全间题，因而不可能从根本上规避“反复踩坑的恶性循环”，有效抵御广义不 确定性安全威胁。网络内生安全理论的提出，建立在必要多样性定律和相对正确公理基础上的“构造决定安全”方法，能够在AI应用系 统设计之初就导入动态异构元余构造和策略裁决功能，使其具备应对应 任何差模性质不确定性影响的能力，可为提升AI应用系统网络韧性或广义功能安全提供全新的视角和解决方案。 智能时代的技术实践需要正确的安全理论指引，在设计人工智能应用系统时，不仅要充分考虑网络韧性架构设计，还要为适应可能出现的各种未知安全风险留有足够余地。这既是人工智能技术发展的必然要求，也是防范社会性系统风险的必要条件。本蓝皮书是一篇集科学性、实用性和前瞻性于一体的报告，不仅能为学术界提供宝贵的理论参考，而且可为产业界提供一套行之有效的安全指南，更可以为一体化的设计“高可信多高可靠、高可用”AI应用系统提供一个具有 普适性意义的解决方案，帮助我们在未来的发展道路上走得更加稳健， 让“泛在化AI技术向善”。 前言 2024年1月，人工智能（AI）新锐巨头OpenAI公司的创始人兼首席执行官萨姆·奥尔特曼（SamAltman）在世界达沃斯论坛上强调， AI带来的技术革命不同于以往，而是成为了一种“不可思议的提高 生产力的工具%作为最具颠覆性的新兴技术之一，AI发展在为人类社会经济发展带来巨大红利的同时，也引发了一系列现实危害和凤险挑战，主要包括数据窃取、隐私泄露、算法歧视、对抗攻击等安全威 大会胁，它们不仅威胁着个人信息的保护，影响着企业的信誉和运营安全，甚至对国家安全也构成了潜在的隐患，这些问题需要我们持续关注并 采取有效措施加以防范和解决。 当前人工智能应用系统的安全威肋是由于其网络软硬件运行环 境和模型算法两个层面存在的“内生安全问题”所致。然而现有的人工智能应用系统安全防护模式和技术路线很少能跳出“尽力而为、间题归零”的惯性思维，传统的对抗训练、挖漏洞、打补丁、封门补漏 查毒杀马乃至设蜜罐、布沙箱等层层叠叠的附加式防护措施，在引入安全功能的同时不可避免地会引入新的内生安全隐患。 琴为创造性破解人工智能应用系统内生安全难题，本蓝皮书提出一 种内生安全赋能人工智能应用系统构建的方法，利用内生安全机理中内在的构造效应，从体制机理上管控或规避人工智能应用系统面临的破坏及威胁，进而有效提升人工智能应用系统在面对复杂多变安全环境时的应对能力，为AI技术的健康发展提供坚实保障。 目录 研究概述 （一）人工智能应用系统1.人工智能应用发展趋势分析 2.人工智能应用系统分析 （二）内生安全 （三)研究意义.11 全球发展态势12 （一）全球人工智能发展现状.13 （二）全球人工智能安全研究现状14 （三）全球人工智能安全产业发展现状 .18 内生 （四）全球人工智能应用系统内生安全发展现状 .21 三、我国发展现状23 （一）产业发展状况述评23 （二）国内相关研究成果.25 四、技术预见30 人工智能应用系统的安全风险 1.数据安全风险.31 2.算法安全风险 .31 3.棋型安全风险.31 4.软硬件运行环境安全风险.32 5.恶意使用风险 .32 6.法律和伦望风险会 7.系统同质化和系统性风险 32 .33 （二）人工智能应用系统的风险成因分析 .33 1.人工智能算法理论存在局限性33 2.人工智能算法结果难以解释34 3.人工智能应用系统要素缺乏安全性 4.法律、伦望和信任度等社会因素共同作用 人工智能应用系统的内生安全问题 间学术 .35 .35 全学术大会 人工智能应用系统的内生安全共性问题.35 2.人工智能应用系统✁内生安全个性间期.36 3.人工智能应用系统的广义功能安全问题 .38 （四）人工智能应用系统内生安全框架.40 1.内生安全赋能人工智能应用系统安全✁机理.40 2.内生安全赋能人工智能应用系统安全✁特殊性.44 3.内生安全赋能人工智能应用系统安全✁可行性.45 P 4.内生安全赋能人工智能应用系统构建47 五、工程难题50 提高AI模型算法鲁棒性 构建AI模型安全监测体系 .52 （三）提升AI价值观对齐能力.53 （四）建强AI应用系统安全环境.54 六、政策建议..55 （一）加快推进人工智能应用系统立法保护.55 金学术大 （二）加快人工智能应用系统供给侧安全治理 56 （三）加快解决关键技术受制于人的短板问题 .57 （四）加快建立国家级人工智能安全试验场， .59 （五）加快转变教育范式培养负责任的开发者 60 X （六）不断提高人工智能内生安全治理的国际影响力， 61 （七）建立健全人工智能应用系统风险等级划分制度 参考文献 内生 一、研究概述 （一）人工智能应用系统 当前，全球人工智能技术取得了突飞猛进的发展，对经济社会发展和人类文明进步的深远影响日益显现，给世界带来了前所未有的巨 大机遇。特别是以OpenAI公司先后发布的ChatGPT、GPT-4o、GPT-o1 等为代表的大模型迅速崛起，更是将人工智能技术的发展推向了一个新的高度，预示着一个更加智能、更加全面的智能时代的到来。当前人工智能正加速与传统行业深度融合，给人机交互、客户服务、教育 哆辅导等多个领域带来了重大变革，成为推动社会经济转型升级和高质 量发展的重要力量。 P图1显示了人工智能产业链框架，主要分为上游的基础层、中游的技术层和下游的应用层。其中基础层是人工智能产业的基础，主要指硬件设备和数据服务，为人工智能提供算力支持和数据基础，代表性企业有英伟达、百度、地平线机器人等：技术层是人工智能产业的核心，主要指通用技术、算法模型和开发平台，为人工智能产业提供技术支持，包含计算机视觉、自然语言处理、类脑算法、音频处理技 术、人机交互五类，代表性企业有OpenAI、谷歌、微软、英伟达、 百度、华为、迅飞、旷视科技、智谱华章等：下游的应用产品和应用场景包括所有AI技术与传统应用结合形成的产业种类，主要有语言终端、智能汽车、机器人、视觉产品、智慧教育、智慧医疗、智能制 造等。 制造业交通业医疗业金融业娱乐游戏产业科学研究 应工业控制 导航定位医疗像风险控制VR交互材科科学 用工业维护 智能驾驶 药物研发 推养系统 元字由天文探索 具身体智能 智能物流 远程手术 人机客服 游戏开发 量子模拟 技 通用大语言模型行业大语膏模型 计算机视觉自然语高处理美脂算法音频处理技术人机交互 对铁至成网络 术器国谷 骨频修复 数据算法算力 基 数据管理数据治理数据安全算法模型软件抵架算力芯片云服务 础 EnaitPyTorchFPGASaas 传编数据标注抢理净信 分类分理GANPadde异构智能计算服务器 图1人工智能产业链 1.人工智能应用发展趋势分析 在科技飞速发展的今天，人工智能这股新浪潮正以前所未有的速 内生度冲击着各个领域，改写着人类的生活方式。从ChatGPT为代表的 大语言单模态模型到AI文生图等多模态生成模型，从煤矿到铁路，从金融到教育，AI技术的影子无处不在。人工智能作为当今世界科技革命和产业变革的关键领域，其产业应用的发展趋势呈现出多元化深度渗透和广泛应用的特点。 （1）技术创新持续升级 随着计算能力的不断提高和逻辑算法的不断优化，人工智能技术将更加成熟。深度学习、强化学习、神经网络、语言天模型、多模态预训练大模型等核心技术的不断进步，提升了语音识别、图像处理、自然语言理解等领域的准确性和效率。当前多模态预训练大模型正成为AI大模型的主流形态，堪称当今人工智能产业的“标配”。 （2）行业应用加速扩展 2 金学术大会 人工智能正应用于众多行业和领域，成为推动传统产业升级和新兴产业成长✁重要力量。智能制造、智能医疗、智能交通、智慧城市等已经成为人工智能应用✁热点领域。特别是生成式人工智能技术✁飞跃式发展，其在广告营销、游戏创作、艺术设计等创造性工作场景与行业中，正得到更为广泛✁应用。一方面，创意属于稀缺资源，人 工智能生成内容（ArtificialIntelligenceGeneratedContent，AIGC）✁ 创造性对激发灵感、辅助创作、验证创意等大有神益，另一方面，互联网大规模普及使得“一切皆可在线”，数字内容消费需求持续旺盛，AIGC能更低成本、更高效率地生产内容，其经济性愈发凸显。 （3）智能化服务成为常态 智能客服、智能助手等智能化服务将更加普及，成为人们日常生活和工作中不可或缺✁一部分。同时，基于人工智能✁大数据分析能力，企业将能够提供更加精准和个性化✁服务。由于ChatGPT在文 本对话领域表现出✁和人类行为✁相似性，其被认为是人类通往通用 人工智能（ArtificialGencralIntelligence，AGI）道路上✁里程碑式产 品。2023年7月，AI科学家李飞飞团队公布了利用大型语言模型 （LargeLanguageModels，LLMs）和视觉语言模型（Vision-Language Models，VLMs）驱动✁机器人项目VoxPoser，人类可以用自然语言 给机器人下达指令，机器人直接能够理解指令语义并做出相应动作，而无需额外数据和训练。这些技术将推动