通过聊天窗口步入现实世界：为人工智能代理做好准备

研讨会报告 通过聊天窗口进入真实世界 为AI智能体做准备 *研讨会组织者 2024年10月 摘要 人工智能系统主动追求目标——称为AI“智能体”——这一概念并不新颖。但在过去的一年或两年里，大型语言模型（LLMs）的进步激起了AI开发者对于创造可能性的兴奋浪潮 。复杂通用的AI代理在不久的将来，初创公司和大型科技公司已宣布其意图构建和销 售能够作为个人助理、虚拟员工、软件工程师等的人工智能代理。尽管当前系统仍相对基础，但它们正在迅速改进。高度智能的人工智能代理的广泛应用可能对社会和经济产生变革性影响。本工作坊报告描述了来自近期CSET领导的工作坊关于日益“代理化”的人工智能系统政策影响的发现。 在缺乏对“代理”的共识定义的情况下，我们描述了越来越具有代理特征的AI系统的四个特点：它们追求更多的复杂的目标在更多复杂环境展示独立规划与适应至直接采取行动在虚拟或现实世界环境中。这些特征有助于确定，例如，一个能够自主执行网络入侵的网络安全攻击者将比一个为人类黑客提供建议的聊天机器人更具代理性。一个“CEO-AI”，在没有人类干预的情况下运营公司，也将比作为个人助理的AI更具代理性。 目前，基于通用型LLM的代理在人工智能开发者和投资者中引起了广泛关注。这些代理由一个高级LLM（或多模态模型）组成，该模型使用“脚手架”软件与外部环境和工作工具（如浏览器或代码解释器）进行接口。例如，可以编写代码、订购外卖、帮助管理客户关系的概念性产品已经上市，许多相关参与者相信在未来的几年里将会看到快速的发展。 除了人工智能代理可能带来的许多潜在好处外，它们也可能加剧一系列现有的与人工智能相关的问题，甚至创造新的挑战。代理在无需人类干预的情况下追求复杂目标的能力可能导致更为严重的问题。事故促进滥用通过骗子、网络犯罪分子和其他人；并创造 新的挑战。责任分配当损害发生时。现有 数据治理与隐私问题可能因开发商利用数据创建可定制于特定用户或情境的代理者的兴趣而加剧。如果高度能干的代理者得到广泛应用，用户可能会变得容易受到攻击。技能退化与依赖,代理商可能串通彼此以不适宜的方式相互对待， 显著的劳动力影响随着越来越多目前由人类完成的任务实现自动化，这可能会变成一个越来越广泛的变化范围。 为了应对这些挑战，我们的研讨会参与者讨论了三类干预措施： 1. 测量与评估：目前，我们评估AI代理能力和实际影响的能里非常有限。开发更好的方法来追踪AI代理自身能力的提升，以及收集其世界影响的生态数据，将使预测和适应未来进步更为可行。 2. 技术护栏：治理目标，例如可见度,控制, 可靠性以及安全和隐私可以通过精心设计的人工智能代理及其周围的生态系统来支持。然而，在不同目标之间可能存在权衡。例如，许多旨在提高对人工智能代理操作可见性和控制的机制可能与优先考虑隐私和安全的工程设计选择相冲突 。 .3: 法律护栏许多现有的法律领域——包括代理法、公司法、合同法、刑法、侵权法、财产法和保险法——都将在管理人工智能代理的影响方面发挥作用。在尝试应用现有法律原则时可能引发争议的领域包括关于以下问题的疑问：人工智能代理的“心理状态”，人工智能代理的法律人格，如何行业标准可用于评估疏忽及其现有主要-代理框架应在涉及人工智能代理的情况下适用。 尽管目前尚不清楚人工智能代理将如何发展，但人工智能开发者对该技术的兴趣和投资水平意味着政策制定者应了解其潜在影响及干预点。目前，有价值的步骤可能包括改进对人工智能代理能力和影响的测量与评估、更深入地考虑技术安全措施如何支持多重治理目标，以及分析现有法律原则可能需要如何调整或更新以应对更复杂的人工智能代理 。 目录 摘要.1 引言与范围........................................................................................................................ .4什么是人工智能代理？.................................................................................................. ......................4技术轨迹................................................................................................... ................8人工智能代理的现状....................................................................................... ..............8环顾未来........................................................................................................... ..11机遇、风险及其他影响.13指引 与干预点.16评估代理及 其影响.......................................................................................16技术指引.................... ...................................................................................................17人工智能代理与法律. .................................................................................................................23结论............ ..................................................................................................................................28 作者................................................................................................................................... .................30致谢............................................................................................................ ................31脚注............................................................................................................. ....................................32 引言与范围 计算机科学家长期以来一直致力于构建能够在世界中积极追求目标的计算机——通常被称为人工智能（AI）“代理”。早在1950年，信息理论先驱克劳德·香农就展示了如何通过构建一个能够使用试错法在新型迷宫中找到出路的不锈钢鼠标，使机器能够根据它“学习”和“记住”的信息行动。1基础的AI代理能够在受到限制的、简单的环境中采取行动，例如棋类游戏，这类代理已经存在了几十年。随着时间的推移，他们能够成功运作环境的复杂性也在不断增加。2 最近，大型语言模型（LLMs，即驱动ChatGPT和类似系统的AI类型）在技术上的显著进步激发了人们对AI代理前景的新乐观。许多研究人员认为，在短期内开发高度复杂、灵活的基于LLM的代理，这些代理可以适应性地追求复杂的现实世界目标，这是一个严肃的可能性。3对这种系统的需求可能会非常大：有能力且可靠的AI代理可以帮助个人用户处理工作或休闲任务，取代或补充各行各业中的工人，更一般地说，可以极大地扩展计算机能有用地执行的任务的边界。随着复杂代理可能在不久的将来出现，基于代理的当前产品已经上市，现在正是政策制定者开始应对它们提出的众多问题的时候了。它们会带来哪些社会影响和潜在风险，以及哪些安全措施可以促进收益并最小化损害？ 2024年5月，安全与新兴技术中心（CSET）举办了一次研讨会，旨在探讨构建人工智能代理的最新进展，以及如果这项技术继续进步，其政策影响。研讨会汇集了来自行业 、学术界、政府和民间社会的参与者，他们具备人工智能开发、政策评估以及法律、网 络安全和其他领域的专业知识。本研讨会报告综合了研讨会的关键主题和结论，包括参与者对构成人工智能代理的看法、该领域的当前和未来进展、代理引入的风险以及潜在的损害减轻工具。 什么是人工智能代理？ 关于何时将一个AI系统归类为“代理”，没有共识。本报告建议，与其试图在是代理和非代理的系统之间划一条单一的界限，不如考虑一组可以以不同程度存在的属性，这些属性共同决定了AI系统的“代理性”。 并且以何种方式。这种描述代理的方式旨在指向在实践中被开发出的一个松散的AI系统类别，而不是提供一个关于构成代理的哲学争论的明确答案。4借鉴以往的研究， 我们提出以下使人工智能系统更具代理性的特征：5 ●目标复杂性：更多具有代理性质的系统追求复杂、长期的目标——甚至多种不同的目标。较少具有代理性质的系统执行个体、更明确定义的任务。 ●环境复杂性：更多具有代理性质的系统能够在更加开放和复杂的设置中有效运作 ，其中代理可用的可能状态和行动数量更大，而决定环境接下来会发生什么的行为动力学更难以建模。较少具有代理性质的系统只能在更简单和可预测的设置中有效运作。 ●独立规划与适应：更多具有代理性质的系统能够自主生成自己的计划或路径以实现既定目标，并根据变化的环境进行必要的调整。而较少具有代理性质的系统则遵循预先指定的步骤指令。 ●直接行动：更多的代理系统直接在它们的环境中采取行动（无论是真实环境还是虚拟环境）。较少的代理系统提供信息或推荐供人类用户采取行动。 盒1通过描述为不同目的构建的AI系统的越来越具有代理性的版本来说明这个框架的特点。其中一些系统已经存在；而其他系统——目前——仅是假设性的。 箱1：在不同应用领域中日益自主的AI系统玩游戏：国际象棋→雅达利→星际争霸II 游戏AI代理的开发和使用已经很长时间了。关于其特点，直接行动游戏系统可以被考虑为适度，因为它们被设计为自主运行（不需要人为干预），但始终在隔离的环境中运行，与现实世界隔绝。根据设计，它们通常在独立规划与适应鉴于它们不遵循一系列固定、由人指定的步骤来玩这个游戏。目标并且 环境复杂性游戏之间的差异很大，尽管游戏通常远比现实世界环境简单。 根据本报告框架，一个能够玩星际争霸II——一款高度复杂的策略视频游戏——比玩多个雅达利游戏（例如）更具代表性。突破并且太空侵略者),这比简单的棋类引擎（如1997年击败世界冠军加里·卡斯帕罗夫的“深蓝”）具有更强的代理性。这些例子之间主要的区别特征是目标并且环境复杂性:星际争霸II他的即兴演奏比棋盘的6 4个格子要复杂得多。20世纪90年代的象棋引擎在此项上也得分较低。独立规划与适应比2010年代玩Atari和Starcraft的智能体更具优势，因为它们的设计包含了一个手指 定的开局和残局数据库，这减少了即时适应的需求。6 网络攻击：从指导用户自主赢得“夺旗赛”到自主执行真实入侵 自动化在网络安全操作的进攻和防御两方面已扮演着重要角色，但迄今为止，这种自