通过聊天窗口步入现实世界：为人工智能代理做好准备

研讨会报告 通过聊天窗口进入真实世界 为AI智能体做准备 研讨会组织者 2024年10月 摘要 人工智能系统主动追求目标称为AI“智能体”这一概念并不新颖。但在过去的一年或两年里，大型语言模型（LLMs）的进步激起了AI开发者对于创造可能性的兴奋浪潮 。复杂通用的AI代理在不久的将来，初创公司和大型科技公司已宣布其意图构建和销 售能够作为个人助理、虚拟员工、软件工程师等的人工智能代理。尽管当前系统仍相对基础，但它们正在迅速改进。高度智能的人工智能代理的广泛应用可能对社会和经济产生变革性影响。本工作坊报告描述了来自近期CSET领导的工作坊关于日益“代理化”的人工智能系统政策影响的发现。 在缺乏对“代理”的共识定义的情况下，我们描述了越来越具有代理特征的AI系统的四个特点：它们追求更多的复杂的目标在更多复杂环境展示独立规划与适应至直接采取行动在虚拟或现实世界环境中。这些特征有助于确定，例如，一个能够自主执行网络入侵的网络安全攻击者将比一个为人类黑客提供建议的聊天机器人更具代理性。一个“CEOAI”，在没有人类干预的情况下运营公司，也将比作为个人助理的AI更具代理性。 目前，基于通用型LLM的代理在人工智能开发者和投资者中引起了广泛关注。这些代理由一个高级LLM（或多模态模型）组成，该模型使用“脚手架”软件与外部环境和工作工具（如浏览器或代码解释器）进行接口。例如，可以编写代码、订购外卖、帮助管理客户关系的概念性产品已经上市，许多相关参与者相信在未来的几年里将会看到快速的发展。 除了人工智能代理可能带来的许多潜在好处外，它们也可能加剧一系列现有的与人工智能相关的问题，甚至创造新的挑战。代理在无需人类干预的情况下追求复杂目标的能力可能导致更为严重的问题。事故促进滥用通过骗子、网络犯罪分子和其他人；并创造 新的挑战。责任分配当损害发生时。现有 数据治理与隐私问题可能因开发商利用数据创建可定制于特定用户或情境的代理者的兴趣而加剧。如果高度能干的代理者得到广泛应用，用户可能会变得容易受到攻击。技能退化与依赖代理商可能串通彼此以不适宜的方式相互对待， 显著的劳动力影响随着越来越多目前由人类完成的任务实现自动化，这可能会变成一个越来越广泛的变化范围。 为了应对这些挑战，我们的研讨会参与者讨论了三类干预措施： 1 测量与评估：目前，我们评估AI代理能力和实际影响的能里非常有限。开发更好的方法来追踪AI代理自身能力的提升，以及收集其世界影响的生态数据，将使预测和适应未来进步更为可行。 2 技术护栏：治理目标，例如可见度控制 可靠性以及安全和隐私可以通过精心设计的人工智能代理及其周围的生态系统来支持。然而，在不同目标之间可能存在权衡。例如，许多旨在提高对人工智能代理操作可见性和控制的机制可能与优先考虑隐私和安全的工程设计选择相冲突 。 3 法律护栏许多现有的法律领域包括代理法、公司法、合同法、刑法、侵权法、财产法和保险法都将在管理人工智能代理的影响方面发挥作用。在尝试应用现有法律原则时可能引发争议的领域包括关于以下问题的疑问：人工智能代理的“心理状态”，人工智能代理的法律人格，如何行业标准可用于评估疏忽及其现有主要代理框架应在涉及人工智能代理的情况下适用。 尽管目前尚不清楚人工智能代理将如何发展，但人工智能开发者对该技术的兴趣和投资水平意味着政策制定者应了解其潜在影响及干预点。目前，有价值的步骤可能包括改进对人工智能代理能力和影响的测量与评估、更深入地考虑技术安全措施如何支持多重治理目标，以及分析现有法律原则可能需要如何调整或更新以应对更复杂的人工智能代理 。 目录 摘要1 引言与范围 4什么是人工智能代理？ 4技术轨迹 8人工智能代理的现状 8环顾未来 11机遇、风险及其他影响13指引 与干预点16评估代理及 其影响16技术指引 17人工智能代理与法律 23结论 28 作者 30致谢 31脚注 32 引言与范围 计算机科学家长期以来一直致力于构建能够在世界中积极追求目标的计算机通常被称为人工智能（AI）“代理”。早在1950年，信息理论先驱克劳德香农就展示了如何通过构建一个能够使用试错法在新型迷宫中找到出路的不锈钢鼠标，使机器能够根据它“学习”和“记住”的信息行动。1基础的AI代理能够在受到限制的、简单的环境中采取行动，例如棋类游戏，这类代理已经存在了几十年。随着时间的推移，他们能够成功运作环境的复杂性也在不断增加。2 最近，大型语言模型（LLMs，即驱动ChatGPT和类似系统的AI类型）在技术上的显著进步激发了人们对AI代理前景的新乐观。许多研究人员认为，在短期内开发高度复杂、灵活的基于LLM的代理，这些代理可以适应性地追求复杂的现实世界目标，这是一个严肃的可能性。3对这种系统的需求可能会非常大：有能力且可靠的AI代理可以帮助个人用户处理工作或休闲任务，取代或补充各行各业中的工人，更一般地说，可以极大地扩展计算机能有用地执行的任务的边界。随着复杂代理可能在不久的将来出现，基于代理的当前产品已经上市，现在正是政策制定者开始应对它们提出的众多问题的时候了。它们会带来哪些社会影响和潜在风险，以及哪些安全措施可以促进收益并最小化损害？ 2024年5月，安全与新兴技术中心（CSET）举办了一次研讨会，旨在探讨构建人工智能代理的最新进展，以及如果这项技术继续进步，其政策影响。研讨会汇集了来自行业 、学术界、政府和民间社会的参与者，他们具备人工智能开发、政策评估以及法律、网 络安全和其他领域的专业知识。本研讨会报告综合了研讨会的关键主题和结论，包括参与者对构成人工智能代理的看法、该领域的当前和未来进展、代理引入的风险以及潜在的损害减轻工具。 什么是人工智能代理？ 关于何时将一个AI系统归类为“代理”，没有共识。本报告建议，与其试图在是代理和非代理的系统之间划一条单一的界限，不如考虑一组可以以不同程度存在的属性，这些属性共同决定了AI系统的“代理性”。 并且以何种方式。这种描述代理的方式旨在指向在实践中被开发出的一个松散的AI系统类别，而不是提供一个关于构成代理的哲学争论的明确答案。4借鉴以往的研究， 我们提出以下使人工智能系统更具代理性的特征：5 目标复杂性：更多具有代理性质的系统追求复杂、长期的目标甚至多种不同的目标。较少具有代理性质的系统执行个体、更明确定义的任务。 环境复杂性：更多具有代理性质的系统能够在更加开放和复杂的设置中有效运作 ，其中代理可用的可能状态和行动数量更大，而决定环境接下来会发生什么的行为动力学更难以建模。较少具有代理性质的系统只能在更简单和可预测的设置中有效运作。 独立规划与适应：更多具有代理性质的系统能够自主生成自己的计划或路径以实现既定目标，并根据变化的环境进行必要的调整。而较少具有代理性质的系统则遵循预先指定的步骤指令。 直接行动：更多的代理系统直接在它们的环境中采取行动（无论是真实环境还是虚拟环境）。较少的代理系统提供信息或推荐供人类用户采取行动。 盒1通过描述为不同目的构建的AI系统的越来越具有代理性的版本来说明这个框架的特点。其中一些系统已经存在；而其他系统目前仅是假设性的。 箱1：在不同应用领域中日益自主的AI系统玩游戏：国际象棋雅达利星际争霸II 游戏AI代理的开发和使用已经很长时间了。关于其特点，直接行动游戏系统可以被考虑为适度，因为它们被设计为自主运行（不需要人为干预），但始终在隔离的环境中运行，与现实世界隔绝。根据设计，它们通常在独立规划与适应鉴于它们不遵循一系列固定、由人指定的步骤来玩这个游戏。目标并且 环境复杂性游戏之间的差异很大，尽管游戏通常远比现实世界环境简单。 根据本报告框架，一个能够玩星际争霸II一款高度复杂的策略视频游戏比玩多个雅达利游戏（例如）更具代表性。突破并且太空侵略者这比简单的棋类引擎（如1997年击败世界冠军加里卡斯帕罗夫的“深蓝”）具有更强的代理性。这些例子之间主要的区别特征是目标并且环境复杂性星际争霸II他的即兴演奏比棋盘的6 4个格子要复杂得多。20世纪90年代的象棋引擎在此项上也得分较低。独立规划与适应比2010年代玩Atari和Starcraft的智能体更具优势，因为它们的设计包含了一个手指 定的开局和残局数据库，这减少了即时适应的需求。6 网络攻击：从指导用户自主赢得“夺旗赛”到自主执行真实入侵 自动化在网络安全操作的进攻和防御两方面已扮演着重要角色，但迄今为止，这种自动化相对简单。一个相对非代理的基于大型语言模型（LLM）的网络安全攻击系统示例可能是一个能够向人类用户提供建议，如何执行黑客任务（例如，通过生成代码片 段或建议尝试的策略）的聊天机器人。此类系统（目前已存在）7会在评分上得分低直接行动自他们的影响完全是通过人类用户选择实施的内容来中介的。一个能够在接到 人类操作者的高层指令后自主规划并执行完整网络作战行动的系统将具有更高的主动性，并且在框架的所有四个特征上得分很高。一个中间例子是一个可以自主赢得分阶段的夺旗竞赛的系统。8这里既包含目标并且环境复杂性会较低，同样会较低， 正如会较低。直接行动，因 限于竞赛环境的约束与简化性质。 企业辅助：个人助理工厂经理‘CEOAI’ 初创公司和大型科技公司alike正在竞相创造人工智能个人助理，早期原型能够执行诸如为外卖订餐或发送邮件询问克雷格列表上的广告等活动。9预订航班或在会议参与者之间协调时间以安排日程是常列出的其他常见任务，一个简单的“个人助理”代理 可以执行。本报告的框架将此类系统归类为具有一定代理性，具有相对较高的能力。直接行动 但是只有适度独立规划与适应以及目标复杂性。The环境复杂性这取决于代理是 否被限制通过结构化渠道（例如，一组专门的API发送调度电子邮件、预订特定服务等）进行行动，或者它是否有权访问开放互联网（可能通过其用户的互联网浏览器） 。对于能够自主管理独立工厂运营的代理（包括设置生产计划、管理库存和优化工作流程），后三个特征都会更高。而对于能够自主运营整个业务的CEOAI来说，这一数值还会更高，从确定公司的关键目标，到分配资源，再到与供应商谈判。10要在这项工作中取得成功，人工智能系统需要在框架的四个特征上都取得高分。 可能无法在仅限于在线环境的行动受限的代理人和影响真实世界的代理人之间划出一个明确的界限。一个管理商店库存的机器人可能仅限于基于互联网的行动，但这些行动可能包括通过在线招聘平台雇佣人类或订购实物商品以发送到特定地点。即使在行动“纯粹”为数字时，它们也可能对人们的福利和权利产生重大影响，任何网络犯罪或在线骚扰的受害者都可以告诉你这一点。因此，能够直接影响真实世界的能力并不取决于AI代理是否连接到机器人执行器。 技术轨迹 当前人工智能代理现状 2023年，围绕AI代理新一轮兴奋浪潮启动。在LLMs（大型语言模型）取得显著进步背景下，一些名叫AutoGPT和BabyAGI等顽强开源项目想出了在LLM周围构软件封装方法，使其从聊天机器人转变为代理。这种代理并非与可以议你采取哪些步骤来实现目标聊天机器人进行对话，而是直接被赋予一个目标（例如，“为一个新创业想法创一个提案演示文稿，并将其发送给五位相关投资者”），然后生成并执行一个实现该目标计划包括像上网或运行代码这样行动。代理将继续执行，直到它实现目标或更常见是陷入困境。这些基于LLM早期代理由于高错误率而实际上并没有太大用处，但它们证明了一个重要观点：生成文本和采取行动之间差距可能比之前假设要小得多。 此类基于LLM代理基本设置包括围绕LLM或多模态模型构所谓“架”软件（为简便起见，我们在此处将“LLMs”统称为LLM）。这种架通常是一块简单软件，作为模型与外部世界之间接口，自动生成提示输入模型（例如，操作网络浏览器指令或运行代码）并将模型输出转换为可以与外部系统交互格式。通过这种方式，架使LLM能够与广泛在线工具和服务进行交互。11见图1，展示了某研究团队构一个测试其执行风险行为能力代理人方法；在此展示中，LLMAPI和架程序共同构成了该代