2024 年

ZaneDurante1†*，黄秋源2‡∗，直树唤醒2∗,冉公3†，在成公园4†,BidiptaSarkar1†，RohanTaori1†,野田玉介5,DemetriTerzopoulos3，蔡叶珍4，池内胜史2, Hoi Vo5，李飞飞1，高剑锋2 1斯坦福大学；2微软研究院，雷德蒙德；3加州大学洛杉矶分校；4华盛顿大学；5Microsoft游戏 ABSTRACT 多模式AI系统可能会成为我们日常生活中无处不在的存在。使这些系统更具交互性的一种有希望的方法是将它们体现为物理和虚拟环境中的代理。目前，系统利用现有的基础模型作为创建具体化代理的基本构建块。在这样的环境中嵌入代理有助于模型处理和解释视觉和上下文数据的能力，这对于创建更复杂和上下文感知的AI系统至关重要。例如,可以感知用户动作、人类行为、环境对象、音频表达和场景的集体情绪的系统可以用于通知和指导给定环境内的代理响应。为了加速对基于代理的多模态智能的研究，我们将“代理AI”定义为一类交互系统，可以感知视觉刺激，语言输入和其他基于环境的数据，并可以产生有意义的体现动作。特别是，我们探索了旨在通过结合外部知识，多感官输入和人类反馈来基于下一个体现的动作预测来改善代理的系统。我们认为，通过在接地环境中开发代理AI系统，还可以减轻大型基础模型的幻觉及其产生环境错误输出的趋势。代理AI的新兴领域涵盖了多模态交互的更广泛体现和代理方面。除了代理在物理世界中行动和交互之外，我们设想了一个未来，人们可以轻松创建任何虚拟现实或模拟场景，并与虚拟环境中的代理交互。 Contents 1Introduction51.1动机........................................................................................................................................................................................51.2背景........................................................................................................................................................................................51.3Overview..................................................................................................................................................................................6 2Agent AI集成2.1无限AI代理............................................................................................................................................................................ 2.2.1幻觉...........................................................................................................................................................................82.2.2偏见和包容性..............................................................................................................................................................92.2.3数据隐私和使用.........................................................................................................................................................102.2.4可解释性和可解释性..................................................................................................................................................112.2.5推理增强...................................................................................................................................................................122.2.6Regulations................................................................................................................................................................13代理AI的紧急能力.................................................................................................................................................................14 3代理AI范式15 3.1LLM和VLM..........................................................................................................................................................................153.2代理转换器定义......................................................................................................................................................................153.3代理转换器创建......................................................................................................................................................................16 4代理AI学习4.1战略与机制............................................................................................................................................................................ 4.1.1强化学习(RL)............................................................................................................................................................174.1.2模仿学习(IL).............................................................................................................................................................184.1.3传统RGB..................................................................................................................................................................184.1.4上下文学习................................................................................................................................................................184.1.5Agent系统中的优化...................................................................................................................................................18代理系统（零射和少射级别）............................................................................................................................................... 5代理AI分类5.1通才代理领域......................................................................................................................................................................... 205.2具身代理................................................................................................................................................................................205.2.1行动代理...................................................................................................................................................................205.2.2交互式代理.............................