人工智能风险国际科学评估的未来

2024年8月 人工智能风险国际科学评估的未来 克莱尔·丹尼斯·哈德良·普吉特 乔恩·巴特曼|罗伯特·特雷格|伦纳尔·阿劳约|贝琳达·克莱兰德|马洛·埃斯特|吉迪恩·富特曼|奥利弗·格罗斯|卡洛斯·伊格内西奥|维什努·卡南|马蒂亚斯·马斯|凯西·马休尼|查尔斯·马丁内特|杰科·莫坎德|克万·依姬|乔恩·欧·赫伊加泰|艾丹·佩平|康拉德·西费特|斯科特·辛格|马克斯米·斯塔佛|卡布尔·惠瑟斯|马尔塔·佐西 哈德莱·普欧格和克莱尔·迪恩对论文贡献等同，参考文献中应共同列出。姓名顺序随机化。如有可能，请按照以下方式引用：普欧格，H.，迪恩，C.等人（2024）《人工智能风险的国际科学评估未来》，国际和平卡内基基金会。乔恩·巴特曼和罗伯特·特雷格是核心贡献者，并在七月研讨会中起到了关键作用。 鉴于作者人数众多，作者身份并不意味着同意本文的每一点。 人工智能风险国际科学评估的未来 克莱尔·丹尼斯·哈德良·普吉特 乔恩·巴特曼|罗伯特·特雷格|伦纳尔·阿劳约|贝琳达·克莱兰德|马洛·埃斯特|吉迪恩·富特曼|奥利弗·格罗斯|卡洛斯·伊格内西奥|维申·卡纳南|马蒂亚斯·马斯|凯西·迈赫尼|查尔斯·马丁内特|扎克布·莫坎德|克万·叶·英格塔伊|艾登·佩平|康拉德·赛费特|斯科特·辛格|马克斯米·斯塔弗|蒂博·怀瑟斯|马尔塔·佐西 ©2024卡内基国际和平基金会和牛津大学。保留所有权利。 卡内基不就公共政策问题采取机构立场；此处所表达的观点代表了作者的意见，并不一定反映了卡内基研究所、其员工或理事会的看法。 本出版物的任何部分未经国际卡内基基金会书面许可不得复制或以任何形式、通过任何手段传输。请将查询直接发送至： 卡内基国际和平基金会出版部 地址：1779MassachusettsAvenueNW,Washington,DC20036 电话：+12024837600 传真：+12024831840 官方网站：CarnegieEndowment.org 封面图像是使用人工智能(AI)技术生成的。 本出版物可在CarnegieEndowment.org上免费下载。 Contents 执行摘要1Introduction5对任何一个组织来说都过于雄心勃勃 的任务7建议9结论17附录19关于作者23注释27卡内基国际和平基金会29牛津马丁AI治理倡议 31 执行摘要 管理人工智能（AI）的风险将需要众多具有不同利益、价值观和认知的角色之间的国际协调。在应对其他全球挑战的经验，如气候变化，表明构建一个共享的、基于科学的现实图景是集体行动的重要第一步。以此精神为指引，去年英国政府引领了28个国家以及欧盟共同启动了高级AI安全国际科学报告 . 英国主导的报告在短时间内取得了巨大成就，但其设计具有狭窄的范围、有限的利益相关者群体和短暂的初始授权，现在即将接近结束。与此同时，联合国 （UN）正转向建立它自己的报告过程尽管关键参数仍待确定，但经济合作与发展组织（OECD）、新兴国家人工智能安全研究所网络（AISIs）以及全球科学家群体等其他实体正在权衡各自对全球人工智能理解潜在贡献。 这些参与者如何共同努力，以达成国际科学界对AI风险的一致意见这一共同目标 ？这个问题的公共讨论出奇地少，尽管各国政府和国际组织正在开展私下外交。此外，这一挑战的难度往往没有得到充分认可。与气候变化相比，AI的影响更难以衡量和预测，且在地缘政治紧张局势和国家战略利益中交织得更为深远。 11 为了探讨前进之路，牛津马丁学院的人工智能治理研究所与国际和平协会在7月联合一群跨人工智能与国际关系领域的专家进行讨论。从这次讨论中，六个主要观点浮现出来： 没有一个单一的机构或流程能够引导世界就人工智能的风险达成科学协议。在一个单一框架或机构内解决众多相互冲突的需求存在太多矛盾。全球政治层 面的共识依赖于广泛吸纳利益相关方参与，然而这种广泛的包容性又会降低目标的一致性和执行速度。为了吸引全球各个层面的受众，可能需要涵盖众多议题，这可能会牺牲内容的连贯性。科学严谨要求强调同行评审的研究成果，但这排除了AI开发领域的领军企业在最前沿专有信息的贡献。鉴于没有任何一个努力能够满足所有这些竞争需求，多个协同工作的努力是必要的。 联合国应考虑利用其比较优势，通过启动一个过程来定期生成包含成员国深度参与的科学报告，以进行考量。类似于政府间气候变化专门委员会（IPCC）的方法，这种途径有助于科学结论获得政治合法性，并培养政策制定者的关系 及其行动意愿。报告可以在一个周期持续数年的过程中产生，涵盖广泛的AI相关问题，整合并解决各种全球利益相关者的优先事项。相比之下，在联合国主导下纯粹技术导向的过程可能会稀释AI风险内容，同时未能充分利用联合国普遍主义结构带来的合法性优势。 •一个单独的国际机构应继续进行年度评估 他们狭隘地关注主要由独立科学家领导的“先进1 ”人工智能系统的风险。快速 的技术变革、潜在的影响规模以及这一主题所面临的严峻科学挑战要求一个专门的过程，其运行速度和技术深度应超过联合国过程。该过程将类似于英国主导的报告，但在全球范围内更具包容性，从更广泛的来源获取数据，并在永久性机构中运作。联合国可以承担这一任务，但试图在同一组织下领导这两个报告可能会损害此报告的速度、专注性和独立性。 •至少有三个似是而非的候选人来主持这份报告，这些候选人被认为是先进的人工智能带来的风险。AISIs网络是英国主导努力的自然继承者，但其面临机构不确定性。经合组织在类似工作方面有强大的历史记录，尽管它仍然 相对排他性较强。国际科学理事会带来的地缘政治负担较少，但资金结构较弱。 不论谁领先，所有这些组织和其他组织都应积极参与到关于高级人工智能风险科学的全球不断扩大、公开的讨论中。 这两份报告应仔细协调，以增强它们的互补性而不牺牲各自的优势。在适当的协调下，联合国能够利用独立报告的技术深度，并帮助其获得政治合法性与影响力。然而，过度的牵涉可能会减缓或损害独立报告的进程，削弱联合国过程的包容性。有前景的机制包括谅解备忘录、相互成员资格或观察员地位、共同举办活动、在工作交叉领域进行展示，以及共享重叠的顾问、专家或员工。 •可能有必要继续目前由英国主导的流程，直到其他流程建立为止。任何新 流程都需要时间来获得利益相关者的支持，协商关键参数，招聘人员，建立工作流程，并产生输出。英国主导的流程的第一版在2月份于法国人工智能行动峰会上呈现后，其势头和成功不应被浪费。 Introduction 国际协调将是应对人工智能全球影响不可或缺的部分，有效协调需要对AI风险的共享、科学严谨的理解。虽然它并不能确保国际合作，但共享的科学理解一直是其他全球性政策领域（如）取得进展的必要前提。 气候变化、生物多样性和生态系统以及辐射风险。 234 然而，在人工智能的背景下，完成这一任务深具复杂性。科学共识与分歧领域随技术前沿的快速演进和AI系统的新型部署而持续变化。关于系统当前能力及其影响的信息并未被系统地收集或公开发布。此外，由于商业竞争利益，这些关键数据大多为私营AI公司所拥有并严格保密。预测技术发展的演变更加困难，因为人工智能进步的不确定性。国际努力将需要系统性和频繁地评估AI的影响。为了确保此评估能反映全球各国的独特背景，它需要准确性和合法性作为国际行动的起点。 在七月，牛津马丁学院的人工智能治理倡议与国际和平基金会共同举办了一场专家研讨会，遵循了丘塔姆豪斯规则，旨在探讨国际对人工智能风险的科学评估未来选项，包括英国和联合国领导的努力。基于该研讨会的洞察，本文探讨了国际合作潜力的全面雄心，识别了不同目标之间的紧张关系，并提出了三项平衡及时性需求的建议。 基于科学的更新具有全球包容性和国际合法性。它特别注意评估最新AI系统风险的紧迫性与挑战，这些系统在过去几年发展迅速，且新兴风险尤为关键。 高级AI安全国际科学报告 构建基于科学共识的国际AI风险理解共享框架并非全新的目标。这正是促使2018年启动相关项目的一个动力。AI全球伙伴关系(GPAI)，一个由28个国家和欧盟组成的机构。GPAI已经进行了重新- 对一系列AI问题进行探索，旨在弥合理论与实践之间的差距5。然而，2022年末Ch atGPT的发布为这一领域带来了新的紧迫感和特定的关注点。注意先进的人工智能系统的影响，为专注的努力提供动力。 在去年11月在BletchleyPark举行的AI安全峰会上，英国政府在28个国家和欧盟委托一份关于高级人工智能系统风险的“科学现,状”报告。由全球公认的AI专家约舒亚·本吉奥教授领导，该倡议旨在“促进对前沿AI相关风险的共享科学理解”。这份报告的初步版本，涵盖了以下内容： 高级AI安全国际科学报告该报告于2024年5月在AI首尔峰会上发布，并预计将 于2025年2月法国政府人工智能行动峰会之前完成最终版本。报告主要综合了人工智能安全领域的学术研究，重点关注三个关键领域：1）高级AI系统的不断扩大的能力，这是风险的主要驱动因素；2）评估模型和降低风险的技术能力的当前状态；以及3）特定的风险类别，包括恶意使用和系统性影响。 中期报告至今为止在建立全球范围内对高级人工智能风险理解方面迈出了最重要的一步。它提供了既冷静又审慎的关键风险概述，承认了主要的不确定性与争议领域——考虑到可用时间和资源有限，这一成就并不小。重要的是，报告过程汇集了来自不同机构、地理区域以及人工智能及其相关领域的专业知识领域的多元作者群体。国际间的合作进一步增强了这份报告的全面性和权威性。专家咨询小组由来自三十个国家、欧盟以及联合国的代表组成的一个团体，在撰写过程中有机会提供反馈（包括不同的观点）。另一组高级顾问，分别来自学术界、民间社会、产业和政府机构，也为这一进程做出了贡献。 然而，这一过程存在几个限制。首先，研究范围有意保持狭窄，仅聚焦于“高级”和“通用目的”人工智能。这类系统伴随着特有的风险，值得特别关注，但它们仅占人工智能的小部分——忽略了对社会产生重大影响的工具，如推荐算法和面部识别系统。其次，报告仅关注风险，尽管许多国家和公司同样或更重视人工智能潜在益处的考量。 爱尔兰专家小组代表发表了一份简短异议，指出报告的整体基调过于消极。其次 ，尽管报告融合了多种国际视角，但整个过程并未完全包容各方。仅涉及数十个国家，主要为高收入国家，而英国政府单方面建立了相关机制。程序本报告当前的制作方式，赋予主席完全的编辑控制权。其次，报告仅依赖“高质量”的公开出版资源，未设机制整合机密或专有数据，亦不接收并考虑公众意见。 此类限制代表了不可避免的妥协，尤其是对于这样一个崭新且紧迫的事业而言。事实上，报告的一年期初始任务本身就暗含着未来版本可能需要采取不同做法的承认。最终，世界将需要一套更加持久和制度化的流程来促进对AI风险的共同科学理解。 新兴的联合国进程 最近的草稿全球数字契约(GDC)建议在联合国内成立一个国际科学委员会（ISP）以评估人工智能风险。虽然协议仍在谈判中，但早期迹象表明，当协议最终确定并由成员国采纳时，关于设立国际科学委员会的提议将被包含在内。未来峰会在2024年9月。这符合中期报告联合国人工智能高级别咨询机构。 本论文的关键问题因此并非在于联合国过程在世界政治中独特的地位及其广泛会员基础这一事实对这一领域而言是一项极其重要的发展。是否联合国应该做点什么，但是what它应该怎样做，以及其它参与者如何补充和提升其工作。例如，英国主导的报告，或任何直接的后续行动，都需要根据联合国的努力重新定义。 对任何人来说都过于雄心勃勃的任务组织机构 一个理想的策略应包含年度（或更频繁）的科学严谨评估，全面涵盖相关问题的各个方面。此评估需利用当前数据和全球多样的视角，汇集学术界、政策制定者 、民间社会以及行业成员的意见，最终获得全球政策制定者的支持与认同。该策略旨在 为了使其具有政策相关性，即其内容直接针对并被面临主要问题的决策者引用。然而，它应保持政策中立性，不预设行动或解决方