概述
机器人基础模型（RFMs）是一种新型AI模型，作为机器人的通用“大脑”，整合了视觉、语言和运动，通过在互联网规模文本、图像和机器人经验数据上进行预训练，学习丰富的表示和广泛的世界知识，使机器人能够以类似人类的泛化能力解释复杂指令并执行多种任务，推动机器人向更灵活、以学习驱动的系统转变。
背景
机器人基础模型的兴起源于机器人从早期确定性系统向数据驱动机器学习的演变，以及基础模型在自然语言处理和计算机视觉领域的成功。DeepMind的Gato、Google Robotics的PaLM-E和RT-2等项目展示了机器人利用网络规模知识在新型场景中动态采取不同行动的潜力，标志着视觉、语言和行动的融合，推动机器人从专用、管道式架构向更灵活、鲁棒的系统转变。
技术与流程
构建RFM需要创新AI算法、数据管道和专用硬件，关键技术包括：
- 多模态Transformer架构：利用基于Transformer的神经网络处理多种输入/输出模态，将视觉输入、语言指令和传感器读数编码到统一潜在空间，再解码为动作或任务计划。
- 大规模多样化数据收集：包括车队学习（如Ambi Robotics的PRIME-1模型基于2000万张真实图像）、仿真到现实（Sim2Real）管道（如TartanAir和NVIDIA的Omniverse平台）以及自监督和弱监督学习（如Ambi的PRIME-1利用自监督深度学习实现3D理解）。
- 硬件-软件协同设计：训练RFM需要强大的GPU/TPU集群（如Covariant的NVIDIA A100/H100系统），部署则需解决延迟和内存限制，推动模型压缩和专用边缘AI硬件发展。
应用
RFM广泛应用于多个行业：
- 工业自动化和制造业：实现灵活自动化和人机协作，如卫星组件装配线上的机器人可处理未见过的零件和任务，Ambi Robotics的PRIME-1模型应用于3D物体识别、检查、包装和分拣。
- 仓库和物流机器人：Covariant的Covariant Brain管理“无限多样性”的物体类型，Ambi Robotics的PRIME-1提升包裹处理性能，RFM还应用于自动驾驶叉车和码垛机。
- 家庭辅助和服务机器人：Physical Intelligence的π0模型可执行折叠衣物、装袋购物等任务，学术研究展示RFM控制移动操作器进行房间整理、设置餐桌等。
- 国防和安全应用：Scout AI的Fury模型使军事机器人能感知战场、理解自然语言指令并执行复杂任务，包括自主侦察、后勤和战场人机协同。
- 人机协作：LLM赋予机器人流畅对话能力，RFM使机器人能识别肢体语言和环境语义，增强安全性，并能从自然语言纠正中学习。
局限性
RFM面临多重挑战：
- 训练数据稀缺和质量：缺乏大规模、高质量的机器人特定数据，导致模型在训练分布外表现不佳，需要更多样化、更高质量的数据。
- 现实泛化与鲁棒性：模型在熟悉环境外可能出错，难以泛化全新物理技能，且随时间推移的分布偏移会降低性能。
- 延迟与计算限制：模型规模大导致推理延迟高、资源消耗大，早期PaLM-E模型频率仅为1Hz，部署受限且依赖云计算。
- 安全、可靠与伦理：自主性提升引发不可预测行为风险，需严格安全测试和运行监控，同时存在责任归属、数据偏见和隐私问题。
- 运营与商业挑战：集成现有系统成本高，人才稀缺，基准测试和评估尚不成熟，可能导致少数核心RFM被许可。
近期交易活动与市场展望
2022-2025年间，机器人/AI市场投资激增，2025年VC投资达22亿美元（2023年的7倍），Physical Intelligence获4亿美元融资，Scout AI获1500万美元种子轮。战略收购活跃，如Alphabet收购Vicarious，亚马逊评估收购Covariant。开源模型（如π0）和战略合作（如FedEx部署Covariant系统）也值得关注。专家认为RFM将成为机器人核心，近期将在受控环境商业化，市场规模达数百亿美元，美国领先但中国等地区也在加大投入。
