超越开放与封闭 ： 基金会 AI 模型治理的新兴共识与关键问题

2024年7月 超越开放与封闭：新兴共识和关键基金会的问题 AI模型治理 乔恩·贝特曼，丹·贝尔，斯蒂芬妮·A·贝尔，格伦·布朗， 马里亚诺-弗洛伦蒂诺（蒂诺）库埃拉，深甘古利，彼得·亨德森，布罗迪·科蒂拉， 拉里·莱斯格，尼克拉斯·贝里尔德·伦德布拉德，珍妮特·纳波利塔诺，黛博拉·拉吉，伊丽莎白·塞格， 马特·希恩、阿维娅·斯科龙、艾琳·索莱曼、海伦·托纳和波琳娜·兹维亚吉娜 超越开放与封闭：新兴共识和关键基金会的问题 AI模型治理 乔恩·贝特曼，丹·贝尔，斯蒂芬妮·A·贝尔，格伦·布朗， 马里亚诺-弗洛伦蒂诺（蒂诺）库埃拉，深甘古利，彼得·亨德森，布罗迪·科蒂拉， 拉里·莱斯格，尼克拉斯·贝里尔德·伦德布拉德，珍妮特·纳波利塔诺，黛博拉·拉吉，伊丽莎白·塞格， 马特·希恩、阿维娅·斯科龙、艾琳·索莱曼、海伦·托纳和波琳娜·兹维亚吉娜 ©2024卡内基国际和平基金会。保留所有权利。 卡内基在公共政策问题上不采取机构立场；本文所代表的观点是那些作者(S)的观点，不一定要反映卡内基、其sta或其受托人的观点。 不得以任何形式或任何方式复制或传播本出版物的任何部分卡内基国际和平基金会的书面许可。请直接询问： 卡内基国际和平基金会出版部 1779马萨诸塞州大道西北Washington,DC20036 P:+12024837600 F:+12024831840 CarnegieEndowment.org 可在CarnegieEndowment.org上免费下载。 Contents Introduction1 新兴共识领域3 关键的开放式问题9 高性能基础模型的Benefits和风险 和开放模型发布9 获取有关模型风险和Benefits的更好数据13 关注和风险容忍水平和过程的绊脚石16 国内决策和治理结构18 全球发展与国际治理20 关于作者23 Notes25 卡内基国际和平基金会29 Introduction 随着世界各地的政策制定者努力应对人工智能(AI)的崛起，很多他们的注意力集中在能力很强的基础模型上--那些拥有先进 在广泛的任务中的功能，包括生成单词，图像，声音，和视频。公司，政府和民间社会组织正在紧急辩论 如何管理这些模型，以及模型的组件、供应链和部署AI系统，他们最终的权力。1 在过去18个月的大部分时间里，关于所谓开放模式的辩论2一直是- 虽然这个术语已经以各种方式使用，但模型经常被描述 当它们的关键组件公开发布供下载时，它是开放的。3在这些组件，模型权重的释放受到了极大的关注。模型权重是 驱动模型核心行为的统计参数，因此它们的公开发布可以是人工智能能力的不断进步和广泛分散的重要因素。 开放式基础模型和重量释放已被视为一种有希望的途径 加快创新，降低市场集中度，提高透明度，打击不平等-同时，有人警告说，开放模型可以赋予不良行为者权力，使其更难发现或阻止滥用，并增加人类最终失去的风险控制AI。4这些平行的好处fi和风险以前曾导致关于 什么样的基础模型应该公开发布，谁应该决定。直到最近，辩论有时会演变成两者之间的意识形态冲突根深蒂固的营地。 11 好吧，最近几个月有迹象表明出现了向去极化的紧急转变- 关于开放模式的辩论的所有“各方”都增加了新思维。 是受欢迎的，应该得到更广泛的认可和分析，特别是政策制定者。 e世界需要更有成效和可操作的讨论如何治理高能力基础模型-开放和封闭。 在行业内，越来越多的主要AI实验室采用了混合发布策略对于基础模型-释放一些开放和其他封闭，这取决于 每个属性。在专家社区中，几篇论文和研讨会都试图 使打开/关闭二进制文件的图片复杂化;突出决定不仅仅是重量发布；并将重点从单个模型扩展到更大的生态系统(包括社会机构)。5政府也有助于激发新的话语：美国国民 标准与技术研究所呼吁公众对模型重量政府提出意见- 南斯发表了广泛的评论，其中很多都是细微差别的。6 但是，尽管这些事态发展令人鼓舞，但仍有更多的工作需要澄清，巩固，并建立在积极趋势的基础上。一项重要任务是确定和记录 具有一定精确度的新兴共识-以便这些想法可以进一步重新fiNed，采取行动并用作解决更棘手问题的跳板。另一项任务是构建钥匙 需要进一步研究和辩论的公开问题-以便决策者能够意识到 目前的差距，研究人员和倡导者可以将注意力集中在最紧急的或下一个治理前沿的有希望的领域。 为此，卡内基国际和平基金会在晚些时候主办了一次会议 4月在意大利洛克菲勒基金会贝拉吉奥中心。它汇集了多样化的一组专家-来自领先的人工智能实验室、大学和民间社会组织-谁代表了关于开放模型和基础模型治理的广泛观点。 几天的密集、有条理的讨论产生了这份文件，由与会者。 我们的两个主要结论： •关于模型和重量的决策不再准确或有效 释放是僵化的“支持开放”和“反对开放”阵营之间的意识形态辩论。相反，不同的阵营已经开始聚集在对开放的共同认可上 模型发布是人工智能生态系统的一个积极和持久的特征，即使它也是如此带来潜在的风险和限制。本文的第1部分旨在捕捉这一新兴 七点共识。 •与此同时，许多关键的治理辩论仍未解决，新的 挑战正在迅速出现。本文的第2部分提出了进一步的议程以十七个开放问题的形式进行研究和讨论。 新兴共识领域 我们建议以下七个领域作为各方之间正在形成共识的要点 关于高度能力和开放的基础模型的治理的观点。可以肯定的是，这篇论文只能为它的作者说话。这些原则的元素仍然是 即使这样，我们也希望强调似乎存在的东西 在历史性的激烈辩论中取得了实质性的新共同点。这样的共同点，如果持久的，可以为解决更多diš邪教开放问题提供坚实的基础(de- 在第2部分中刻画)。 澄清一下，这些要点不是作者或其组织采取行动的承诺。他们也不声称全面涵盖所有重要和相关的事情。相反，这些旨在作为帮助框架治理讨论的一般参考点。 1.关于模型重量释放的决策不再准确或富有成效 作为僵化的“亲开放”和“反开放”阵营之间的意识形态辩论。开放和封闭式基金会模式都有合法、积极和重要的作用。 作为不同形式的人工智能模型和 系统彼此交互，与非AI技术以及与人类机构交互。 然而，基础模型的选定子集-特别是一些未来的模型- 可能会带来需要更多限制性释放方式的风险。 对于迄今为止发布的绝大多数基础模型，广泛的公共访问-包括但不限于公开释放重量-没有产生已知的危害 超过他们明显的好处fits。先进的人工智能能力的传播可以产生无数的上行，包括科学fic和医学进步的支持，以及进一步的示范- 对知识和技术力量的认可。 另一方面，许多基础模型是通用或两用的，这意味着它们 既有有益的fi应用，也有有害的应用(像其他技术一样)。因此，模型具有某些先进或特别有害的功能会带来可能超过的风险 可用的保障措施和好处fits。类别可能包括少量的当前模型以及未来可能开发的未知数字。在这种情况下， “预防性摩擦”是谨慎的。is可以包括分阶段发布，其中模型最初是紧密持有，但逐渐释放越来越公开，结构化的访问，其中 外部方有一定程度的访问权限，旨在促进特定的fic目标。7 e主要的政策辩论不是关于一般的基础模型是否应该或 不应该公开发布，而应该是如何在特定的情况下绘制实用的界限。是更实际的辩论应该以广泛的“开放”概念为前提， "closed",andhybridstrategiesareacceptablefortoday’stechnology.Choiceofstrategycan 由模型开发人员的个人优先级指导，在考虑的广泛参数范围内为了整个社会的实质性和程序性利益。随着时间的推移， 和发布方法可能会根据商业模式等因素而演变很多， 积累关于模型影响、社会适应、不断演变的成本结构的现实数据- 技术和技术趋势-所有这些都是新生的。 2.“开放性”是一个多方面的光谱，包括各种选择、价值和目标。重量释放可以是开放的一个重要元素，但它并不总是 在各种不同的开放中实现fi的所有不同利益是必要的或有意义的解释。 开放是一个在技术历史上有着悠久而著名的血统的想法。 但是，它的确切含义各不相同。它可以传达一系列值，例如透明度，获取、自由、包容和互惠。8ese可以追求各种 实际目标-如促进创新，增加竞争，减少不平等，加强安保和安全，传播技术知识，加强 日常生活和社会决策中的普通人。这样的价值观和 目标通常相互关联，但有时会与彼此或自身联系。例如，释放模型权重可能有可能在某些方面提高安全性(如empower-让独立研究人员识别和帮助fix设计fifw)或以其他方式侵蚀它(比如让不良行为者通过fiNe-tuning剥离安全措施)。9 模型权重只是几个关键模型组件或工件之一，包括存档- tecture,code,andtrainingdata,thatmaybeexternalreleased.Foreachartifact,arange 选项-如分阶段发布、结构化访问和不同数量的文档- TION-可用于塑造谁接收什么信息、何时以及如何接收信息。10e过程在这些选项之间的决定也可以或多或少地开放，在包容性的意义上，透明、负责。此外，模型工件的简单下载能力 不能保证所有演员都能真正从他们那里受益。相反，这可能取决于参与者对云基础设施、技术培训、 和语言专业知识。 开放权重模型和封闭权重模型都可以贡献或不贡献不同的类型视情况而定的开放性。例如，开放权重模型可能具有 高度宽松的许可条款，但有限的非英语能力和糟糕的文档- 相反，一个封闭的权重模型可以由一个透明的治理 向低收入国家的用户提供广泛免费支持的非政府组织。这很重要阐明开放性的目标，并将权重释放决策与更大的战略联系起来 实现这些目标-然后可以随着时间的推移进行评估、辩论和调整。 3.模型重量释放可以产生特殊影响，原则上倾向于夸大模型的正电势和负电势(尽管不总是对称的)。 但这种理论倾向并不一定转化为特定的现实案例。 一些开放模型有好处fits或更常见的与封闭相关的风险 models,andviceversa.Scrutinyofweightreleasedecisionsshouldnotoversight 许多其他的设计和实现因素，可以是平等的，甚至更多 Signifi不能塑造模型的影响。 模型重量释放给任何拥有su的技能和资源的人一个特别的广泛和永久的应用能力，改变，适应，并从基础学习 模型。所有其他条件相同，基础模型权重的公开发布将趋于 进一步增强其用户和第三方开发人员的能力。有无数的社会利益fits，如随着科学fi和商业创新的加速，信息获取的民主化 和权力，并提高公众对人工智能系统的认识。 然而，模型重量释放也可能产生有害后果，包括赋予不良行为者权力-如罪犯和敌对国家-以及 人工智能系统以其创造者或用户意想不到的方式自主运作。 开放重量模型的影响可能是不可撤销的，如果不是不可能的话，也可能是极度的。使用当前技术进行监控或限制。因为它可能会提高fits和 风险，开放重量释放继续值得所有利益相关者的特别关注(即使还必须更好地绘制和探索更广泛的开放范围)。 然而，重要的是要认识到开放（或封闭）重量的现实世界后果 releasecandifferdicularlyfromthesetheoreticaltendences.Forexample,highlycustom- 缺乏足够的使用监控或条款执行的可封闭重量模型不会实现封闭重量释放的安全性和治理潜力。同样， 具有高推理成本的开放权重模型将无法满足fi的广泛潜力-eningaccess。这些建筑、设计和实施因素值得更多 治理对话中的审查-不仅适用于开放式模型，而且适用于封闭式模型- 重量模型也是如此。11 4.模型发布决策应取决于对边际风险的评估和 边际效益fits。更有能力和潜在影响力的模型应该有更广泛的以及更严格的发布前评估，以及发布后监控和 执法需要专门的资源、创造力和对 在其更大的人类和技术环境中建立模型。 边际风险的概念有助于将注意力集中在新模型的发布或 system–includin