大模型治理蓝皮报告（2023年）——从规则走向实践

z 大模型治理蓝皮报告 ——从规则走向实践 （2023年） 中国信息通信研究院政策与经济研究所 中国科学院计算技术研究所智能算法安全重点实验室2023年11月 版权声明 本报告版权属于中国信息通信研究院、中国科学院，并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的，应注明“来源：中国信息通信研究院、中国科学院”。违反上述声明者，编者将追究其相关法律责任。 前言 近一年来，以ChatGPT为代表的大模型技术引发通用人工智能新一轮发展热潮，在带动大规模产业升级、劳动力转移、产品的分配机制等方面均带来深刻变革，成为改变世界竞争格局的重要力量。与此同时，围绕人工智能治理的议题探讨显著增多，全球人工智能治理体系加速构建。党中央国务院高度重视人工智能治理工作，作出一系列重要部署。习近平总书记强调，要共同做好风险防范，形成具有广泛共识的人工智能治理框架和标准规范，不断提升人工智能技术的安全性、可靠性、可控性、公平性。寻找大模型治理的准确定位，构建适应技术发展趋势的治理体系愈加重要且迫切。 面对大模型带来的新问题新挑战，传统监管模式面临着AI自主演化控制难、迭代快速跟进难、黑箱遮蔽追责难等问题，一劳永逸的事前监管模式已经难以应对不断推陈出新的人工智能发展需求。从治理框架来看，敏捷治理成为回应大模型技术快速迭代的重要治理模式，软硬法协调、多主体协同的治理需求更为突出。构建高质量数据集、创新知识产权制度、探索价值对齐实现方式、维护信息内容安全等成为各方关注的热点问题。美国、欧盟、英国等主要国家和地区加紧推进人工智能治理布局，共同寻求具有共识和互操作性的治理规则。我国围绕人工智能发展、安全、治理三方面提出《全球人工智能治理倡议》，通过算法备案、评估评测、事后溯源检测等方式，推动人工智能治理从规则走向实践，为全球提供人工智能治理中国方案。希望研究成果为社会各界进一步参与大模型治理实践提供有益参考。 目录 一、大模型治理的重要性紧迫性凸显1 （一）大模型技术浪潮兴起1 （二）大模型引领数字化变革3 （三）大模型带来的典型风险5 二、技术变革下大模型治理框架日渐明朗11 （一）治理模式：敏捷治理成为国际较为通行的治理方案11 （二）治理主体：激励多元主体协同治理成为全球共识14 （三）治理机制：软硬兼施推进大模型治理18 三、聚焦大模型治理核心议题规则22 （一）数据治理规则23 （二）知识产权保护32 （三）伦理问题治理36 （四）信息内容治理40 四、把握全球大模型治理最新动态趋势42 （一）美国从松散碎片式治理逐步趋向体系化治理42 （二）欧盟继续发挥人工智能治理领域布鲁塞尔效应45 （三）英国力图以促进创新的监管方法引领全球治理49 （四）国际组织在大模型治理国际合作中各显其能52 五、探索我国大模型治理的主要落地工具55 （一）事前备案55 （二）事中全流程评估57 （三）事后溯源检测60 六、完善我国大模型治理体系的思路建议63 （一）确立促进创新的人工智能敏捷治理理念64 （二）聚焦人工智能场景应用细化制度方案64 （三）立足当前治理实践创新人工智能治理工具65 （四）激励企业积极管控风险以推动平台合规66 （五）促进全球人工智能合作治理体系构建67 一、大模型治理的重要性紧迫性凸显 （一）大模型技术浪潮兴起 当前，世界人工智能领域科技创新异常活跃，日益成为改变世界竞争格局的重要力量。一批里程碑意义的前沿成果陆续突破，以ChatGPT为代表的大模型技术引发通用人工智能新一轮发展热潮。 1.对大模型的基本认识 大模型（LLM，LargeLanguageModel）指的是具有超大参数规模，建立在多头自注意力机制Transformer架构之上，以深度神经网络为基础，用海量文本数据预训练而成的语言模型。以ChatGPT为代表的大模型能够模拟人类的创造性思维，生成具有一定逻辑性和连贯性的语言文本、图像、音频等内容。大模型基于大数据、大算力、多模态的技术优势，实现从感知世界、理解世界向创造世界的跃迁，推动人类社会加速迈向人机共生的智能社会阶段。 大模型体现出三方面技术趋势：一是从决策式AI到生成式AI。决策式AI主要是通过分类回归对数据进行分析，主要应用于图像识别、推荐系统、决策智能体等领域。生成式AI借助Transformer架构等，具有全局表征能力强、高度并行性、通用性强、可扩展性强等优势，主要应用于内容创作、科研、人机交互等领域，实现了从简单感知到内容创造的跃迁。二是从单模态模型到多模态模型。多模态是指通过处理和关联来自多种模态的多源异构数据，挖掘分析信息、提高模型能力的学习方法。典型任务是图像/视频/语言间的跨模态预训练、跨模态定位等，如给定文本生成一段对应的声音、图像/视频与文本 的相互检索或生成等。三是从亿级到千亿、万亿级参数的预训练模型。大模型指的正是模型参数规模庞大，大模型参数规模从亿级发展到百亿、千亿级别，并向着更高规模的参数探索。例如，GPT-3参数量达1750亿，文心一言参数规模为2600亿等。随着参数规模的增长，模型能力也得到显著提升。 2.大模型的变革影响 （1）内容生产方式的“颠覆者” 大模型实现了高质量、高效率、多样化的内容生产，成为推动内容生产方式变革的重要力量。一是信息内容生产主体发生显著变革。人工智能在信息收集、筛选和整合、推理的全过程都能替代人力，极大地解放人力资源。二是信息内容生产效率快速提升。大算力驱动强算法处理大数据，在自然语言处理、计算机视觉、自动驾驶、等各领域多种任务上，都能高质量作出结果判断，高效率进行内容生成。三是信息内容传播出现颠覆性变化。信息的生产、传播更加便利，尤其是降低了专业知识的获取门槛。信息内容的表现形态更加丰富，利用人工智能创生技术，图、文、代码等相互转换更加自由，可以一键生成“数字人”分身，开启智能互联时代。 （2）通用人工智能的“先行者” 大模型是迈向通用人工智能的重要技术探索。一是具备了与人类智能相媲美的综合智能能力。大模型的能力不再局限于自然语言、视觉等特定方面，而是具备了执行一般智慧行为的能力，广泛拓展了人工智能技术的适用范围。二是具备了通用型技术能力的潜力。业界普 遍认为，大模型是智能时代的关键基础底座，各领域不再需要单独开发人工智能，仅需调用大模型接口即可。将来可能构建出新的应用生态、创造新的用户接口，并带来潜在商业模式的变革。三是具备了赋能千行百业的适应性。大模型可作为底层技术，垂直应用于各个产业和复杂场景。这种可以嫁接千行百业的智能生产力，正在重塑和影响未来生活。 （3）人机交互的“协作者” 大模型使得人类行为与机器运行之间的协作更加自然、高效和智能，拓展了更为广阔的人机交互空间。一是呈现出极大的语言表达的自由度。大模型“善于”理解和生成自然语言，人们可以自由提问或表达需求，不必担心特定的格式或指令。这种自由度使得人与机器的交互更为自然、灵活。二是呈现出极为个性化的交互体验。大模型可以通过分析和理解用户的喜好、兴趣和上下文信息，进行定制化的服务和建议。大模型的即时回应和连续对话，给用户提供了实时的帮助和引导。Web2.0之父蒂姆·奥莱利（TimO'Reilly）认为未来的人工智能系统将成为人类工作的协作者，通过人机合作实现更强大的效果。 （二）大模型引领数字化变革 大模型体现出强智能性、强通用性、强交互性，为进一步的产业革新与数字政府发展奠定了坚实的基础。根据麦肯锡报告，生成式人工智能每年或将为全球GDP增加2.6-4.4万亿美元。根据MarketsandMarkets报告，2023年全球生成式人工智能的市场规模预计为110.3亿美元，2028年预计将达到518亿美元，年复合增长率达35.6%。 1.大模型推动产业跨域深度融合 凭借大数据、大市场、多场景优势，人工智能与交通、医疗、工业等传统行业深入融合，涌现出一批新业态新模式。在工业领域，大模型实现汽车、建模等设计的自动优化、打造3D模型、通过智能物流、智能安防实现智能化管理；在医疗领域，大模型实现蛋白质分子的结构预测、辅助医生影像读片与分析病例报告，推出AI陪护与交互式心理咨询；在金融领域，大模型催生了数字员工，借助AI客服、AI投资顾问、AI财务实现服务的自动化，并进一步优化投资管理与风险管理。据埃森哲预计，2035年人工智能应用将为制造业带来4万亿美元额外增长，年增长率可达4.4%。 2.大模型提升公共服务水平 当前，公共领域大模型应用如火如荼，为公共服务提质增效。美国、英国、葡萄牙、新加坡等13个国家或地区已将ChatGPT应用于政府内部办公、公共服务提供等场景。据日本野村综合研究所开展的网络问卷调查显示，政府部门对ChatGPT的利用率达17.5%，仅次于信息通信业（32.8%）和制造业（19.2%）。从市场份额来看，根据普鲁杜尔公司（PrudourPvt.Ltd）数据显示，2022年各国政府应用大模型的市场份额超过1千万美元，预计2032年超过5亿美元，年复合增长率达45.8%。大模型技术的引入可以显著提升人机交互的友好程度。同时，大模型在信息收集、数据分析以及语言重塑能力层面的优势，能够有效协助整合政府治理资源，改善政府治理结构，打破政府组织壁垒，实现跨部门、跨层级的协同治理。 （三）大模型带来的典型风险 大模型在提升产业效率与社会生产力的同时，亦伴随着多重风险与挑战，有必要从技术自身缺陷引发的风险、技术应用在不同层面带来的问题与挑战等维度出发，梳理和探讨大模型发展面临的困局。 1.大模型自身技术缺陷带来的风险挑战 一是大模型的生成“幻觉”问题引发生成内容不可信。生成幻觉通常指模型按照流畅正确的语法规则产生的包含虚假信息甚至无意义内容的文本。幻觉一般被认为是模型生成的文本不遵循原文或不符合事实，在大模型场景下主要指不符合事实，即出现“一本正经胡说八道”的情形。幻觉产生的本质原因是大模型的输出结果是根据概率推理而成的，这导致了大模型可能针对一个原本模糊或者不确定的预测，给出一个“过度自信”的结果。因此，OpenAI公司首席技术官MiraMurati亦指出，ChatGPT和底层大型语言模型的最大挑战是其会编造错误的或不存在的事实。 二是大模型的“涌现”效应带来模型能力不可控。所谓智能“涌现”，是指大语言模型在没有经过针对性训练的任务，包括需要复杂推理能力的任务中，同样表现出卓越的性能。这种“智能涌现”能力通常在小模型中未被发现，而只会在具备一定规模的大模型中出现。目前仅能够明确观测到当模型大小超过一定阈值时，模型各方面综合能力得到质变式爆发增长的“涌现”现象，但却无法确定“涌现”的阈值所在，这使现有大模型的“智能涌现”能力具有突发性、不可预测性和不可控性，例如，在某用户故意“激怒”ChatGPT后，后者威 胁将披露该用户的IP、居所等个人信息，甚至损害其名誉。不少人工智能研究人员亦发出警告，如果控制不当，足够强大的人工智能模型可能超越人类智能成为地球主导力量，引发灾难性后果。 三是大模型的脆弱性和攻击性造成外部安全隐患难以根除。由于技术本身的特性，没有一个系统是永远安全和不可能被攻破的。一方面，随着大模型生成侧的高度发展，对其进行网络攻击日渐增多。例如通过在提示词后增加一些不规则后缀，即可让此提示词绕过大模型的拦截策略，让其生成预料之外的内容。另一方面，大模型应用降低了漏洞查找与系统攻击的难度。如果模型被恶意植入后门，模型的安全也会受到威胁，尤其在大模型应用下，漏洞查找与系统攻击变得更加容易，导致系统安全隐患持续升级。例如，有攻击者利用ChatGPT生成自动攻击的代码，让它更加高效的利用某个目标系统的漏洞，进行网络攻击。 2.大模型在个人维度引发的风险挑战 一是加深“信息茧房”并影响公平正义。一方面，以呈现高频次单一信息为生成机制会加深“信息茧房”。过去，个人自主进行信息检索是往往能够获得来源丰富、多种多样的信息以供选择，从而形成对所欲探究事物更全面的认知；而在大模型应用下，个人只能被动接受模型提供的信息