基础模型邂逅具身智能体

第一部分：动机和概述

• 通才代理人的定义及重要性，通过图示和任务示例（如熨烫衣物、烹饪早餐等）说明典型具身智能体任务。
• 提出以马尔可夫决策过程（MDPs）作为基础模型分类的指导原则，并探讨“情境决策”的概念。

第二部分：MDPs与具身智能环境

• 回顾MDPs的核心要素：状态空间、观测、行动空间、转移模型、奖励模型和政策。
• 列举MDP环境实例（如MineCraft、MineDojo、GTA等），并强调Web代理环境在网页理解和多模态LLMs发展中的作用。
• 详细解析MDPs中的状态估计（从2D渲染场景到3D资产状态）、目标解释（如“设置表格”的属性和条件定义）以及子目标分解。

第三部分：基础模型与MDPs融合

• MDP政策：通过LLM输出示例（如烹饪草莓的动作序列）展示政策生成过程，包括目标解释、子目标分解、动作序列转换和转移建模。
• 奖励模型：强调奖励模型在任务执行中的重要性，并引用相关研究（如https://arxiv.org/pdf/2305.10626）。
• 转型模型：以OmniGibson物理过渡为例，说明如何捕捉复杂物理现象，并介绍全渠道Gibson物理过渡界面。

第四部分：虚拟代理与物理代理对比

• 对比虚拟代理和物理代理在MDP实例中的应用差异，并引用相关研究（如https://embodiedqa.org/slides/eqa_matterport.slides.pdf）。

第五部分：报告概要

• 报告结构：分为5个部分，涵盖动机与概述、基础模型与虚拟/物理代理融合、高层与低层决策制定、机器人基础模型及余留挑战。
• 时间分配：主持人李曼玲（15分钟概述）、李曼玲（45分钟融合）、Mao（25分钟认知）、Li（30分钟基础模型）、Li（15分钟挑战）及QA环节。