人工智能能力险国国际科学评估的来(汉) - AI 风险国际科学评估的未来

2024年8月 人工智能风险国际科学评估的未来 克莱尔·丹尼斯·哈德良·普吉特 乔恩·巴特曼|罗伯特·特雷格|伦纳尔·阿劳约|贝琳达·克莱兰德|马洛·埃斯特|吉迪恩·福特曼|奥利弗·格斯特|卡洛斯·伊格内西奥|维申·卡纳南|马蒂吉·马斯|凯西·马休尼|查尔斯·马丁内特|杰克布·莫坎德|康万·叶·黄|休恩·奥·赫杰塔|艾登·佩宾|康拉德·赛费特|斯科特·辛格|马克斯米·斯塔佛|蒂博尔·怀瑟|马尔塔·佐西 HadrienPouget和ClaireDennis对论文贡献等同，参考文献中应共同引用。姓名顺序进行了随机化。如有可能，请按照以下方式引用：Pouget,H.,Dennis,C.,等人.(2024)‘AI风险的国际科学评估未来’，《国际和平卡内基基金会》。JonBateman和RobertTrager是核心贡献者，并且对七月研讨会的召开起到了关键作用。 鉴于作者人数众多，作者身份并不意味着同意本文的每一点。 人工智能风险国际科学评估的未来 克莱尔·丹尼斯·哈德良·普吉特 乔恩·巴特曼|罗伯特·特雷格|伦纳尔·阿劳约|贝琳达·克莱兰德|马洛·埃斯特|吉迪恩·富特曼|奥利弗·格罗斯|卡洛斯·伊格纳西奥|维什努·卡南|马蒂亚斯·马斯|凯西·迈赫尼|查尔斯·马丁内特|扎克布·莫坎德|克万·依姬|休恩·奥·希格尔塔伊|艾丹·佩宾|康拉德·赛弗特|斯科特·辛格|马克斯米·斯塔佛|卡尔文·怀瑟斯|马尔塔·佐西 ©2024卡内基国际和平基金会和牛津大学。保留所有权利。 卡内基不就公共政策问题采取机构立场；此处所表达的观点代表作者的观点，并不一定反映卡内基研究所、其员工或理事会的看法。 本出版物的任何部分未经国际卡内基和平基金会书面许可不得复制或以任何形式、任何手段传输。请将查询直接发送至： 卡内基国际和平组织出版部 地址：1779MassachusettsAvenueNW,华盛顿,DC20036 电话：+12024837600 传真：+12024831840 官方网站：CarnegieEndowment.org 封面图像是使用人工智能(AI)技术生成的。 本出版物可在CarnegieEndowment.org上免费下载。 Contents 执行摘要1 Introduction5 对任何一个组织来说都过于雄心勃勃的任务7 Recommendations9 Conclusion17 Appendix19 关于作者23 Notes27 卡内基国际和平基金会29牛津马丁AI治理倡议31 执行摘要 管理人工智能（AI）的风险将需要众多具有不同利益、价值观和认知的国际参与者之间的协调。在应对其他全球挑战，如气候变化的经验表明，建立一个基于科学共识的真实图景是迈向集体行动的重要第一步。秉承这一精神，去年英国政府引领了28个国家和欧盟共同启动了 高级AI安全国际科学报告 the. 由英国主导的报告在短时间内取得了巨大成就，但它设计时具有狭小的范围、有限的利益相关者群体以及短暂的初始任务期限，现已接近尾声。与此同时，联合国（UN）正朝着建立它自己的报告过程尽管关键参数仍待决定，但经济合作与发展组织（OECD）、新兴国家人工智能安全研究所联盟（AISIs）以及全球各地科学家组成的团体都在考虑各自对全球人工智能理解的潜在贡献。 如何让所有这些参与者共同朝着国际科学界对AI风险达成一致目标这一共同目标合作？令人意外的是，在政府和国际组织进行低调外交的同时，这个问题的公开讨论却很少。此外，这一挑战的复杂性往往没有得到充分的认可。与气候变化相比，AI的影响更难以衡量和预测，并且在地缘政治紧张局势和国家战略利益中有着更为深刻的交织。 11 为了探讨前进的方向，牛津马丁学院的人工智能治理研究所与国际关系学会在7月联合了一群跨人工智能与国际关系领域的专家。从这次讨论中，六大主要观点浮现出来： 没有一个单一的机构或流程能够引导世界就人工智能的风险达成科学协议。在单一框架或机构内解决众多相互冲突的要求存在太多分歧。全球政治层面的 支持取决于广泛纳入各利益相关方，但此举又会降低共同目标的明确性和执行速度。为了吸引所有全球受众，可能需要覆盖众多议题，这可能会牺牲内容的一致性。科学研究的严谨性要求强调同行评审的研究成果，但这排除了AI开发领域的行业领导者持有的最新专有信息。鉴于没有任何单个努力能够满足所有这些竞争需求，多个努力应以互补的方式协同工作。 联合国应考虑利用其比较优势，通过启动一个过程来产生定期的科学报告，其中包含成员国深度参与，以考虑这一提议。与政府间气候变化专门委员会（IntergovernmentalPanelonClimateChange,IPCC）的方法类似，这种策略 有助于科学结论获得政治认同，并培养政策制定者的关系及其行动意愿。报告可以在一个持续数年的周期内产生，涵盖广泛的AI相关问题，整合并解决来自全球各种利益相关方的优先事项。相比之下，仅由联合国（UnitedNations,UN）主导的纯技术性、科学家驱动的过程可能会淡化AI风险的内容，同时未能充分利用联合国普遍主义结构带来的认同优势。 •应当维持一个独立的国际机构持续产出年度评估，专注于“高级”风险的狭隘视角。1AI系统，主要由独立科学家领导。快速的技术变革、潜在的影响规模以及严峻的科学挑战要求一个专门的过程，该过程能够比联合国过程更快 地运作且具有更深的技术层次。这一过程应类似于英国主导的报告方式，但具有更广泛的全球参与，从更广泛的来源收集数据，并在一个永久性机构中运行 。联合国可以承担这一任务，但试图在同一组织下领导这份报告和前述报告可能会损害这份报告的速度、专注性和独立性。 •至少有三个似是而非的候选人来主持这份报告，这些候选人被认为是先进的人工智能带来的风险。AISIs网络是英国领导努力的合乎逻辑的继承者，但面临着机构不确定性。经合组织在这方面有较强的先例，尽管它仍然有些 排他性。国际科学理事会带来的地缘政治负担较少，但资金结构较弱。 无论谁领先，所有这些组织——以及其他的组织——都应当被积极地纳入到关于高级人工智能风险科学的日益扩大的全球公众讨论中。 这两份报告应仔细协调，以增强它们之间的互补性而不牺牲各自的优势。一些协调措施能够使联合国利用独立报告的技术深度，同时帮助其获得政治合法性与影响力。然而，过度的纠缠可能会减缓或损害独立报告的进程，削弱联合国程序的包容性。有前景的机制包括谅解备忘录、相互会员资格或观察员地位、共同举办活动、在工作交叉领域进行展示以及共享重叠的顾问、专家或员工等。 •可能有必要继续目前由英国主导的流程，直到其他流程建立为止。任何新 的进程都需要时间来赢得利益相关者的支持、协商关键参数、招聘员工、构建工作流程并产生输出。英国领导的进程的第一版在二月份法国人工智能行动峰会展示后，其势头和成功不应被浪费。 Introduction 国际协调将是应对人工智能全球影响不可或缺的一部分，有效协调需要对人工智能风险的共享、科学严谨的理解。尽管它不能确保国际合作，但共享的科学理解对于在如气候变化等全球性重大政策领域取得进展而言，一直是必要的前提条件。2生物多样性和生态系统，3辐射风险。4 然而，在人工智能（AI）的背景下，完成这一任务深具复杂性。科学共识与分歧的领域持续变化，随着技术前沿的迅速发展和AI系统的新型部署。关于系统当前能力及影响的信息并未系统性地收集或公开发布。此外，大量关键数据因商业竞争利益而被私营AI公司严密保护。预测技术演进更加困难，因为AI进展的不确定性。国际努力将要求系统性和频繁地评估AI的影响。为了确保此评估反映全球不同国家的独特背景，需要准确性和合法性，以作为推动国际行动的跳板。 7月，牛津马丁学院的人工智能治理倡议与国际关系学会共同举办了一场专家研讨会（遵循切瑟姆屋规则），探讨了未来国际对人工智能风险的科学评估选项 ，包括英国和联合国领导的努力。基于该研讨会的洞察，本文探讨了国际努力的全面潜力野心，识别了不同目标之间的紧张关系，并提出了三条平衡及时性需求的建议。 基于科学的更新具有全球包容性和国际合法性。它尤其关注评估最新AI系统风险的紧迫性和难度，这些系统在过去几年发展迅速。 高级AI安全国际科学报告 构建一个基于科学共识的国际AI风险理解共享框架并非全新的目标。这正是促使我们在2018年启动这一项目的一个动力。AI全球伙伴关系由二十八个国家和欧盟组成的全球人工智能伙伴组织（GPAI）。GPAI在一系列人工智能问题上进行了研究，旨在连接理论与实践。5然而，2022年末ChatGPT的发布带来了新的紧迫性，并带来了特别的注意先进的人工智能系统的影响，为专注的努力提供动力。 在去年11月在BletchleyPark举行的AI安全峰会上，英国政府在28个国家和欧盟,委托一份关于高级人工智能系统风险的“科学现状”报告。由全球知名人工智能专家约舒亚·本吉奥教授领导，该倡议旨在“促进对前沿AI相关风险的共享基于科学的理解”。报告的初步版本涵盖了以下内容： 高级AI安全国际科学报告 该报告于2024年5月在AI首尔峰会上发布，并预计将于2025年2月法国政府的AI行动峰会前最终完成。报告主要综合了关于AI安全的学术研究，重点关注三个关键领域：1）高级AI系统能力的扩大，这是风险的主要驱动力；2）评估模型和技术能力以减轻风险的现状；以及3）特定风险类别，包括恶意使用和系统性影响 。 中报至今为止代表了对高级人工智能风险的全球理解中最关键的一步。它提供了既冷静又谨慎的概览，承认了主要的不确定性与争议领域——考虑到可用的时间和资源有限，这是一项不凡的成就。重要的是，报告过程汇集了一群多元化的作者，他们分别来自不同的机构、地理区域以及人工智能及其相关领域的专业知识领域。国际间广泛的合作使得这份报告能够全面且深入地探讨风险，同时也反映了全球视角下对于高级人工智能潜在风险的复杂性和多面性。专家咨询小组由来自三十个国家、欧盟以及联合国的代表组成的一个团体，有机会在撰写过程中提供反馈（包括不同观点）。另外一组来自学术界、民间社会、工业界和政府机构的高级顾问也参与到这一过程中，贡献了自己的见解。 然而，这一过程存在几个局限性。首先，研究范围有意保持狭窄，仅聚焦于“高级”和“通用目的”人工智能。这类系统自带独特风险，值得特别关注，但它们仅占人工智能的一小部分——并未涵盖对社会影响巨大的推荐算法和面部识别系统等工具。其次，报告仅关注风险，而许多国家和公司同样或更加关心人工智能的潜在益处。 爱尔兰专家小组代表发表了一篇简短的异议声明，指出报告的整体基调过于消极 。其次，尽管报告融合了多种国际视角，但整个过程并非完全包容。仅涉及数十个国家，主要为高收入国家，而英国政府单方面制定了相关框架。程序报告当前的制作过程中，赋予主席完全的编辑控制权。其次，报告仅依赖于“高质量”的公开出版来源，没有机制整合机密或专有数据，亦未包含并考虑公众意见。 此类限制代表了不可避免的妥协，尤其是在这样一个新且紧迫的事业中。实际上 ，报告的一年期初始任务隐含地承认了未来版本可能需要采取不同的方式。最终 ，世界将需要一套更为持久和制度化的过程来促进对AI风险的共同科学理解。 新兴的联合国进程 最近的草稿全球数字契约(GDC)已提议在联合国内建立一个国际科学委员会（ISP）以处理人工智能问题，该委员会将负责每年对人工智能风险进行科学评估 。虽然该协定仍在谈判中，但早期迹象显示，关于国际科学委员会的提案将在协 定最终确定并由成员国采纳时被包含在内。未来峰会在2024年9月。这符合中期报告联合国人工智能高级别咨询机构。 本论文的关键问题在于，联合国过程在世界政治中独特的地位以及广泛会员基础上的发展，将会是一个极其重要的进展。 是否what 因此不是联合国应该做点什么，但是它应该怎么做，以及其它参与者如何补充和提升其工作。例如，英国主导的报告，或任何直接的继任者，都需要重新定义与联合国的努力相关的问题。 对