生成式机器人：用于人机协同创作的自监督学习

生成式机器人学

本文探讨了生成式机器人学这一新兴领域，该领域研究机器人如何从高级目标中支持人类在现实世界中制作物品。生成式机器人学区别于其他机器人领域，如制造业或生成式人工智能，主要在于其面临的真实世界约束、高级目标和人机协作。

真实世界约束

现实世界充满各种限制，如材料的不可预测性、工具的控制难度以及技能的限制。本文提出通过自监督学习来学习这些约束，以提高动力学模型的准确性，从而实现基于模型的规划。

高级目标

用户可能缺乏专业技能，因此需要高级界面与系统交互。高级目标可以是自然语言描述或决策，但需要机器人具备更复杂的智能来理解和执行。本文介绍了支持从高级目标进行创作的技术，例如从文本描述或风格图像中生成绘画。

人机协作

本文重点研究了机器人绘画和雕塑领域，展示了如何通过自监督学习实现人机协作创作。FRIDA系统通过支持性目标规划器和低级动作规划器来实现协作绘画。支持性目标规划器根据用户的文本描述和当前画布状态生成目标图像，低级动作规划器则使用动力学模型和语义损失来优化动作，使机器人能够绘制出符合目标图像的画作。

核心贡献

• Real2Sim2Real动力学模型：该技术使机器人能够从少量自生成的数据集中创建复杂的动力学模型，从而更准确地模拟真实世界的约束。
• 语义表示中的规划：本文提出在语义表示中进行规划，以提高人机目标一致性，并使机器人能够更好地理解高级目标。
• 协作目标创建：本文介绍了自监督学习框架，用于将预训练模型适应机器人，并生成符合协作目标的目标状态。

研究结论

本文展示了自监督学习如何使基于模型的机器人规划方法能够理解真实世界约束、适应高级目标，并支持人机协作。研究结果表明，机器人可以成为艺术家在创作过程中的有效协作工具，帮助他们实现更具创造性和艺术性的作品。