Swarm-GPT：将大型语言模型与机器人编排设计的安全运动规划相结合（中文）

Swarm‑GPT：将大型语言模型与 机器人编排设计的安全运动规划 AoranJiao1、TanmayP.Patel1、SanjmiKhurana1、Anna‑MariyaKorol1 ，卢卡斯·布伦克2,3， VivekK.Adajania3、UtkuCulha2、SiqiZhou2，和安吉拉·P·舍利格2,3 1多伦多大学工程科学系 2慕尼黑工业大学计算机工程系 3多伦多大学航空航天研究所 抽象的 本文介绍了Swarm‑GPT，这是一个将大型语言模型(LLM)与安全群体运动规划相结合的系统，为可部署的无人机群体编排提供了一种自动化的新颖方法。Swarm‑GPT使用户能够通过自然语言指令自动生成同步的无人机表演。Swarm‑GPT注重安全性和创造力，通过将生成模型的创造力与基于模型的规划算法的有效性和安全性相结合，解决了无人机编排领域的一个关键空白。通过提示LLM根据提取的音频数据生成一组唯一的航路点来实现此目标。轨迹规划器会处理这些航路点以确保无碰撞且可行的运动。可以在执行之前在模拟中查看结果，并通过动态重新提示进行修改。 a年月[212日c20rsX2.iR3vO:2]312.01059v1 模拟到现实的迁移实验表明，Swarm‑GPT能够准确复制模拟无人机轨迹，平均模拟到现实均方根误差(RMSE)为28.7毫米。迄今为止，Swarm‑GPT已在三场现场活动中成功展示，体现了预先训练的模型在现实世界中的安全部署。 1简介 几千年来，舞蹈一直是人类表达和娱乐的有力媒介。然而，我们对机器人动力学和控制的掌握直到最近才扩展到舞蹈和表演领域。机器人编舞在娱乐业的一个典型应用是无人机表演，其中许多无人驾驶飞行器(UAV)在半空中变形成复杂的图案，与音乐节奏同步[1–3]。 让机器人拥有舞蹈能力是一个自然的进步，但并非易事[4]。在目前的应用中，机器人的时空运动通常由专家手动编排，以平衡表现力和安全性。生成机器人舞蹈编排可能很费力；随着机器人数量的增加，舞蹈设计和安全性分析的复杂性很快就会变得难以解决[5]。 在这项工作中，我们提出了Swarm‑GPT一种自动化无人机编排流程，可将语言指令转换为一群纳米无人机的编排动作。为了促进基于语言的无人机编排的直观交互和安全部署，该系统结合了(a)高级运动生成层，该层利用大型语言模型(LLM)的生成能力来设计独特的无人机群编排；(b)低级安全层，该层使用基于模型的群规划框架来确保将LLM生成的编排可行且安全地部署到物理机器人上。 NeurIPS2023机器人学习研讨会：预训练、微调和大规模泛化 模特，新奥尔良，美国 图1：Swarm‑GPT编排的9架无人机群。图中所示的队形与音乐节拍时间同步。用户可以与Swarm‑GPT交互以生成不同的轨迹。完整的实验性能可从视频中获取：http://tiny.cc/Swarm‑GPT 通过模拟和物理实验，我们展示了如何有效地弥合高级自然语言指令与低级机器人控制和协调之间的差距。Swarm‑GPT是一个概念验证，展示了LLM指导的无人机群控制的可行性，并且可以安全地完成。我们的工作表明，LLM可以用作非专家用户的直观界面，以生成复杂的无人机行为，同时通过底层安全控制和规划算法进行增强，从而通过设计实现安全协调。 据我们所知，Swarm‑GPT是第一个能够直接使用LLM进行无人机编排的系统。我们的贡献如下：(i)使非专家能够使用自然语言对无人机群编排进行编程和修改；(ii)将大型语言模型与基于模型的安全过滤器无缝集成，以确保安全执行；(iii)在实时无人机实验中展示Swarm‑GPT。 2相关工作 机器人编舞。机器人编舞研究涵盖不同的机器人平台，包括人形机器人[6–9]和非拟人机器人，如机械臂[10]、无人机[1–3]和四足机器人[6,7]。虽然之前的研究主要集中在通过映射音乐特征来实现流程自动化（如[7,8,2,3]），但编舞过程仍然需要手动调整和领域专业知识，并且提供直观反馈的手段很少，尤其是对于非专家用户而言。这项工作专注于无人机群编舞，并介绍了一种使用自然语言反馈工具的自动化流程，用于同步时空运动生成。 机器人领域的LLM。通过自然语言进行机器人决策最近开始受到关注[11,12]，尤其是在视觉语言导航[13]、基于语言的机器人可供性[14]、基于语言的轨迹修改[15]以及通过基于LLM的代码生成进行高级任务规划[16,17]等领域。这些示例凸显了利用LLM促进与机器人系统自然交互的潜力。在这项工作中，我们追求类似的目标，但重点是基于语言的无人机群编排及其在现实世界中的安全部署。 安全的机器人群体决策。安全的机器人决策方法通常利用我们对机器人的先验知识来提供所需的安全保障[18]。在群体协调的背景下，基于模型的运动规划提供了一种明确考虑安全性和可行性约束的自然方法。基于模型的群体运动 规划的最新进展包括集中式方法[19,20]和分布式方法[21–23]。鉴于分布式方法[21–23]的可扩展性优势，在本文中，我们采用了最先进的分布式无人机群体运动规划框架[23]作为基于LLM的群体编排设计的安全过滤器。这种集成 通过有效利用我们对机器人的先验知识，同时最大限度地保留LLM产生的运动，解决了安全部署的挑战。 3方法论 在本节中，我们概述了所提出的Swarm‑GPT框架。图2显示了Swarm‑GPT系统的框图，附录A中包含了进一步的技术细节。 LLM接口。LLM接口为用户提供了一种通过自然语言提供高级任务规范（例如歌曲选择和群体行为）的方法。同时，使用音频分析工具librosa提取所选歌曲的特征[24]。语言输入和提取的音乐特征共同构成了带有初步说明的LLM提示模板 关于操作环境的物理限制。我们包括提示的细节 附录A.1中的过程。给定语言输入、歌曲音频文件和高级先验知识 在环境中，LLM为无人机群生成编排，作为一系列定时 为每个无人机定位航点，与所选歌曲的节拍同步。 声音的 文件 通过语言输入指定 高级任务 音乐 预处理 （书卷气） 歌曲名称和节拍 次 非‑ 专家用户 重新提示 （例如“飞得更 快”、“分开更远”） 特定任务提示模 板 法学硕士 （GPT‑3.5） 在模拟或实验中可视 化机器 人的性能 生的 位置参考 安全轨迹优化 （AMSwarm安全过滤器） 关于任务、机器人的先验知识， 和环境 无人机模拟器 （gym‑pybullet‑drones） 认证 职位参考 真实系统 （Crazyflie纳米无人机） 安全轨迹优化。安全 轨迹优化模块是一种安全 基于最先进的过滤器 分布式无人机群体运动规划 框架，AMSwarm[23]。AM‑Swarm安全过滤器允许我们 整合 我们对机器人系统的先验知识（例如，最大允许速度和 无人机的驱动极限以及无人机的椭圆形碰撞包络线） 并随后计算可行和 无碰撞群体轨迹最适合 匹配LLM生成的编排路径点。 图2：Swarm‑GPT系统框图 附录A.2进一步讨论了基于AMSwarm的安全过滤器设计。 轨迹修改（重新提示）。 这些航点被视为位置命令并使用可视化 无人机群模拟器gym‑pybullet‑drones[25]。用户可以将生成的编排部署到真实的无人机上 系统或通过重新提示对其进行修改。要重新提示，用户可以输入自定义提示（例如，“go更快，更高”），将其附加到原始提示中。然后，LLM通过以下方式修改群集：根据重新提示更新航路点。碰撞避免和处理应用于 更新了LLM输出。 4仿真与实验评估 所提出的Swarm‑GPT系统已使用四首不同类型的歌曲（Perfect、Ode 欢乐，碟中谍主题，太阳来了]，并在两者中蜂拥多达九架无人机 模拟和实时实验。在本节中，我们介绍了关键的评估结果；额外的讨论包含在附录B中。机器人实验的视频可通过以下链接获取：http://tiny.cc/Swarm‑GPT。 模拟到现实迁移的评估。我们使用gym‑pybullet‑drones[25]作为Swarm‑GPT的模拟器。该模拟器配备了与真实无人机平台相同的控制器。为了检查 sim‑to‑real的传输间隙，输入模拟器和真实系统的控制信号是完全相同的。 模拟x、y、z位置与地面真实x、y的均方根误差(RMSE)，图中绘制了六种不同编排配置的z位置。如图3所示 说明，无人机群中模拟到真实的平均RMSE不超过60毫米 最坏情况。六种编排的平均RMSE为28.7毫米。由于模拟与现实的准确度较高 传输质量，我们使用模拟来收集大量数据来说明安全特性 以及Swarm‑GPT的生成能力。 对安全约束的响应。法学硕士是极好的创造性工具，但它们的意识有限 动态和机器人约束。我们的流程通过经过充分测试和强大的安全过滤器补充了LLM的创造力。总的来说，该流程实现了人类可以实现的安全无人机运动 通过自然语言进行设计。图4显示了应用前后的碰撞事件次数 我们的安全过滤器。为了计算碰撞事件，我们考虑椭圆形防撞包络 这既考虑了无人机的真实尺寸，也考虑了气动效应（如下洗流）。[23] 在97次模拟试验中，只有21.65%的原始LLM生成的轨迹没有发生碰撞。 在安全算法之后，这一数字达到了100%，这意味着所有碰撞都被消除了。我们注意到 在实际部署过程中，可能会存在额外的动态不确定性或不完善之处；这些不确定性可以通过使用稳健安全的公式来系统地解释[18]。 60 均方根误差（米毫） 40 均方根误差 20 0 C1C2C3C4C5C6 100 80 频率 60 40 20 0 020406080 过滤后过滤前 编舞索引 图3：六种不同编排的模拟到真实RMSE汇总。 发生碰撞的轨迹百分比[%] 图4：应用AMSwarm安全过滤器之前和之后轨迹上碰撞百分比的直方图。所有数据点均由九架无人机群收集。 1 0.5 0 t0∈[7.91秒,9.58秒] 0.4 0.2 平均速度（秒米）/ 0 重新提示之前重新提示后 −0.5 −101 C1C2C3C4C5 x[米]编舞索引 轨迹。该图显示了重新提示前后的平均无人机速度。不同的颜色对 图6：可以重新提示LLM以修改图5：Swarm‑GPT编舞的可视化 为更饱和。 应于每首歌曲10个编舞中的不同速度。重新提示颜色渐变从较浅变 提示和与音乐同步。为了确保舞蹈编排和音乐之间的准确同步并促进直观的交互，我们指示ChatGPT在所提供音乐的节拍的提取时间戳处生成航点，同时实现所需的行为（例如“对称编队”）。图5显示了一个例子，其中一个舞蹈编排中的6架无人机的(x,y)位置与每个大实心点处的节拍时间绘制在一起。无人机群保持所需的队形，并围绕节拍时间明显改变其轨迹。 图6显示了重新提示的进一步示例，其中无人机被指示“飞得更快”。 5结论 我们提出了一种新颖的生成编排系统Swarm‑GPT，它集成了高级LLM和低级安全无人机群运动规划，以实现安全且交互式的无人机群编排。 实验证明了设计方法，表明将LLM与基于模型的安全滤波器设计相结合以实现安全的实际部署的有效性。 MachineTranslatedbyGoogle 参考 [1]太阳马戏团，“SPARKED：技术背后”，2014年9月，[在线]网址：https://youtu.be/7YqUocVcyrE?si=GRWwC_bbIisFsuMu。 [2]A.Schoellig、F.Augugugliaro、S.Lupashin和R.DAndrea，“将四轴飞行器的运动与音乐同步”，IEEE国际机器人与自动化会议(ICRA)论文集，2010年，第3355‑3360页。 [3]X.Du、CELuis、M.Vukosavljev和APSchoellig，“快速而同步：四旋翼飞行器的周期性群体模式”，载于《国际机器人与自动化会议论文集》（ICRA），2019年，第9143‑9149页。 [4]M.Apostolos、M.Littman、S.Lane、D.Handelman和J.Gelf