人工智能风险治理报告（2024年）-构建面向产业的人工智能安全治理实践方案

人工智能风险治理报告 ——构建面向产业的人工智能安全治理实践方案 （2024年） 中国信息通信研究院人工智能研究所2024年12月 版权声明 本报告版权属于中国信息通信研究院，并受法律保护。 转载、摘编或利用其它方式使用本报告文字或者观点的，应注明“来源：中国信息通信研究院”。违反上述声明者，本院将追究其相关法律责任。 人工智能技术以其前所未有的发展态势引领新一轮科技革命和产业变革，深度驱动经济社会发展。技术跃迁释放价值红利，与此同时带来风险挑战。2023年10月，习近平主席提出《全球人工智能治理倡议》，其中着重指出，做好风险防范，不断提升人工智能技术的安全性、可靠性、可控性、公平性。人工智能风险治理已经成为把握未来人工智能发展的核心要素，也是全人类需要共同应对的时代课题。 当前，全球各界积极探索人工智能风险治理之道。本报告广泛汲取国际行动、各经济体努力、产业实践等各方经验，勾勒新时代下人工智能风险认知的演进路径，提炼出人工智能风险认知正向全球性融合、前瞻性考量、系统性分析、交叉性联动不断深化。通过深入分析全球人工智能风险治理多元共治的实践经验，我们深刻认识到，将人工智能风险治理的方案落实到技术革新、产品开发和应用部署中去，是回应社会关切、解决突出矛盾、防范安全风险的必然选择，也是关系到人工智能长远发展的重要议题。 本报告结合国际经验，立足我国产业实践，提出“系统治理-风险识别-风险评估-风险应对”的人工智能风险治理实践框架，实现穿透式风险管控与全链条流程管理的深度融合，为人工智能产业主体对于技术发展与安全保障提供解决方案。鉴于人工智能技术应用日新月异，本报告对人工智能风险治理的认识仍有未尽之处，恳请大家批评指正。 一、概述1 （一）人工智能风险挑战引发全球关注1 （二）人工智能风险治理模式亟需创新3 （三）推动面向产业界的人工智能风险治理落地框架迫在眉睫4 二、人工智能风险认知渐进深化6 （一）人工智能内生安全与衍生安全复杂交织6 （二）人工智能风险认知迈向多维度深化融合9 三、人工智能风险治理全球实践12 （一）国际层面：加速推进风险治理行动及合作12 （二）主要经济体：迭代完善风险划分与管控举措14 （三）产业组织：协同推进治理框架和安全工具17 （四）企业主体：深化技管融合的风险应对方案18 四、面向产业的人工智能风险治理实践方案19 （一）打造全链条人工智能风险治理框架19 （二）提升人工智能风险系统治理能力21 （三）设立人工智能风险精准识别机制23 （四）健全人工智能风险科学评估体系25 （五）完善人工智能风险敏捷应对方案27 五、展望建议29 （一）促进全球合作，共筑人工智能治理新格局29 （二）优化治理体系，夯实人工智能安全发展基础30 （三）发挥桥梁作用，推进行业治理标准化与动态化30 （四）强化内外协同，助力技术创新与责任共担31 图1人工智能风险治理框架5 图2人工智能内生安全和衍生安全7 图3人工智能风险认知趋势9 图4面向产业的人工智能风险治理实践方案20 一、概述 （一）人工智能风险挑战引发全球关注 习近平总书记指出，人工智能是引领这一轮科技革命和产业变革的战略性技术，具有溢出带动性很强的“头雁”效应。当前，人工智能牵引工业、医疗、教育、交通、金融、文化等各领域提质增效，成为社会经济高质量发展的重要支撑和前进动能。然而，人工智能技术在重塑全球经济与社会格局的同时，也带来了多元风险挑战。根据美国斯坦福大学《2024年人工智能指数报告》统计，2023年全球共发生123起与人工智能滥用相关的重大事件，比2013年增长了近20倍，并呈现持续增长态势1。与此同时，人工智能风险的波及范围和影响程度也显著加大。国际货币基金组织《生成式人工智能：人工智能与未来就业》报告指出，全球40%的工作将受到人工智能的影响2；奇安信《2024人工智能安全报告》显示，2023年基于人工智能的深度伪造欺诈暴增3000%，钓鱼邮件增长1000%3。 人工智能技术释放红利与应用风险显露并存，全球领域人工智能治理进程持续加速。国际组织和主要经济体在人工智能治理方面主动作为，联合国通过联合国大会将共识理念凝聚为决议文件，并通过组建人工智能高级别咨询机构以讨论形成全球合作的具体行动方案；经济合作与发展组织（OECD）研究、评查全球国家如何落实人工智能原则；金砖国家正推动成立人工智能研究小组以促进合作和负责任的 1https://aiindex.stanford.edu/report/ 2https://www.elibrary.imf.org/view/journals/006/2024/001/006.2024.issue-001-en.xml 3https://www.qianxin.com/threat/reportdetail?report_id=311 治理；人工智能安全峰会为人工智能安全治理提供全球对话平台。此外，政府驱动的人工智能风险治理逐渐完备。根据加拿大咨询公司FairlyAI追踪结果显示，截至2024年12月，全球人工智能相关政策法规已达317份4；产业驱动的人工智能标准化行动更加密集，全球陆续出台355项人工智能标准5，目前尚有更多标准处于规划和制定过程之中。 我国在人工智能治理中侧重风险研判与防范，并积极为国际社会贡献“中国方案”。总体上，中国为全球人工智能治理积极贡献力量。从习近平总书记在“一带一路”高峰论坛提出《全球人工智能治理倡议》，到中国在联合国大会上主提的《人工智能能力建设普惠计划》，包含主权平等、发展导向、以人为本、普惠包容、协同合作等深刻内涵的人工智能治理原则不断传播，为国际社会提供了统一、先进、普适的合作框架与实践指引。举措上，中国加快完善人工智能治理体系，2024年7月，党的二十届三中全会《中共中央关于进一步全面深化改革推进中国式现代化的决定》中提出建立“人工智能安全监管制度”，体现出我国统筹发展与安全，体系化应对人工智能安全风险的谋划。我国已经通过《生成式人工智能服务管理暂行办法》《国家人工智能产业综合标准化体系建设指南（2024版）》等部门规章与标准规划，保障人工智能技术的健康有序发展。 4https://www.fairly.ai/blog/map-of-global-ai-regulations 5秦铭浩徐慧芳.全球人工智能标准化进展及我国发展建议[J].世界科技研究与发展,2024,46(4):524-535. （二）人工智能风险治理模式亟需创新 随着人工智能技术的飞速进步，技术风险不确定性增大。自2022年ChatGPT发布以来，大模型能力愈发突出，人工智能领域迎来了前所未有的投资热潮。然而，随着技术应用复杂度的增加，风险持续显露，亟需采取有效措施应对日益迫切的风险治理问题。在技术快速演变、产品跨境应用、链条主体复杂的背景下，产业界在人工智能风险治理中需要发挥更重要的作用。 一是技术快速演变，产业界提供灵活有效的自律工具能够及时回应现实问题。法律法规的制定因其严谨性，通常需要较长的流程与时间，往往滞后于技术创新。人工智能技术专业性强、演变速度快、原理愈发复杂，而社会对治理措施能够及时回应的需求也日益增长，这进一步加剧了法律稳定性与监管灵活性之间的紧张关系。例如前两年语言大模型、多模态模型取得显著进展，而如今智能体和具身智能等领域的创新突破层出不穷，安全治理的步伐愈发难以跟上技术发展的速度。相较于传统的政府监管，产业界行业规范、标准指南、技术工具更有能力以应对技术发展迅速、风险不断变化的局面，与政府监管形成良性互动。 二是产品跨境应用，产业界在国际治理合作方面需要承担更重要角色。在互联网和跨国企业的推动下，人工智能技术在全球范围内广泛应用，许多风险的跨境性质日益凸显。传统监管模式依赖国家主权进行，易受国界限制，无法有效应对风险的跨境挑战。例如，开源人工智能模型的广泛应用和全球流通性，使得任何安全漏洞、偏见或不 当使用都可能迅速传播，影响多个国家和地区。对于各国政府而言，尽管制定针对开源模型的监管并不困难，但也正是鉴于其全球流通特性，确保监管措施的有效实施却面临巨大挑战。在此背景下，产业组织通过促进跨国合作，例如与其他国家的相关组织开展联合测试、提升工具的互操作性、参与“一轨半、二轨对话”等，推动全球范围内的有效治理。 三是链条主体复杂，产业界充分协调人工智能治理多利益相关方。人工智能训练数据、算法模型、系统应用及基础设施等环节涉及多个主体多个维度复杂互动，产业链的延展使得治理结构变得更加复杂，进一步加剧了传统监管模式的挑战。2023年布鲁金斯学会报告指出，未参加生成式人工智能原始模型开发的“下游开发者”可能会将原始模型调整后再整合到其他软件系统，由于双方均无法全面了解整个系统，或将增加这些软件错误和失控风险6。人工智能技术应用涉及数据、模型、软硬件基础设施、应用服务等产业链上下游多利益攸关方，有效的治理措施需要充分协调各方，促进不同主体之间的信息流动与共享，整合各方资源推动解决方案的落地和实施，在共识框架下形成灵活应对地响应模式。 （三）推动面向产业界的人工智能风险治理落地框架 迫在眉睫 本报告广泛汲取国际行动、各经济体努力、产业实践等各方经验，形成人工智能风险治理框架（见图1）。人工智能的迅速发展与广泛 6https://www.brookings.edu/articles/early-thoughts-on-regulating-generative-ai-like-chatgpt/ 应用所带来的风险，呈现出日益复杂且多维交织的特点。这些风险不仅涉及技术层面的固有问题，还涵盖了应用层面的衍生性挑战。在多元共治的推进下，尽管各国政府在国际和国内层面推出的治理框架或法律规范已取得一定进展，但面对人工智能技术飞速演进和前瞻性风险，仍然存在诸多治理空白与亟待解决的问题。企业作为人工智能风险治理的核心主体，处于治理的前沿，掌握着实施有效治理所需的关键资源，迫切需要一套切实可行的治理方案，以识别、评估并有效应对日益复杂的风险。 来源：中国信息通信研究院图1人工智能风险治理框架 在此背景下，推动面向产业界的人工智能风险治理框架落地已成为迫在眉睫的任务。本报告以安全性、透明性、公平性和可问责性等核心原则为指导，提出了一个集穿透式风险管控与全链条流程管理的落地框架，旨在提升企业人工智能风险治理能力，涵盖从风险识别、评估到有效应对的全过程。框架强调通过制度完善、文化建设和外部 协作来提升系统治理能力，同时聚焦技术、应用和管理三个层面的风 5 险识别、评估与应对，构建全链条的治理体系。在风险识别环节，框架从自身技术层和衍生应用层两维度着手，通过动态监测和多方协作，及时发现数据质量、算法模型、软件安全以及衍生风险等问题。在风险评估环节，通过对风险进行评估量化与优先级划分，帮助合理配置资源。并根据技术迭代和社会变化，动态调整评估结果。在风险应对环节，为不同优先级的风险制定定制化方案，并动态优化治理措施。此外，框架明确技术和应用提供方在研发、部署和应用各环节的责任，强调多利益攸关方的合作与信息共享，以提升行业整体风险治理能力。 二、人工智能风险认知渐进深化 （一）人工智能内生安全与衍生安全复杂交织 人工智能在引领科技创新、赋能千行百业的同时，也伴随着多层次安全问题。一方面，人工智能系统自身存在鲁棒性不足以及不可解释性等疑难；另一方面，在人机交互过程中，人工智能内生风险进一步延伸，可能对个人组织、国家社会、全人类带来诸如隐私泄露、就业替代、不可持续发展等衍生安全问题（见图2）。安全问题的客观存在成为人工智能风险的诱因。系统运行中可能存在的失控或错误决策的内生安全问题，引发操作性风险。隐私侵害和歧视偏见等衍生安全问题，则随着人工智能应用的扩展，可能引发危害性更大的风险挑战。 来源：中国信息通信研究院图2人工智能内生安全和衍生安全 人工智能内生安全主要集中在技术层面，包括数据、算法模型、软件和基础设施等。数据方面，一是有毒的训练数据和