使用大语言模型智能体作为研究助理：Agent Laboratory

核心观点

• 代理实验室是一个基于自主LLM的框架，旨在加速个体在机器学习领域进行研究的能力。它接受人类提供的研究想法，并通过文献回顾、实验和报告撰写三个阶段生成全面的研究输出，包括代码库和研究报告。
• 自主模式与副驾驶模式：代理实验室提供两种操作模式。自主模式下，代理独立完成研究流程；副驾驶模式下，人类在每个阶段提供反馈和指导。
• LLM后端评估：研究发现，o1-preview驱动产生最佳研究结果，其生成的机器学习代码在与现有方法相比时能够达到最先进的性能。人类参与显著提高了性能和研究质量。
• 成本效益：代理实验室显著降低了研究费用，相比之前自主开发的研究方法，减少了84%。
• mle-solver评估：在MLE-Bench上，代理实验室的mle-solver模块表现优于其他求解器，获得多个奖项，并在多个基准测试中超过中位人类性能。

关键数据

• 人类评估：人类评估者对由代理实验室生成的论文在实验质量、报告质量和实用性方面进行了评估。结果显示，o1-preview在实用性方面表现最佳，o1-mini在实验质量评分中最高，而gpt-4o在所有指标中均表现逊色。
• 自动化与人工评估差异：自动化评审人的评分显著高估了论文质量，与人类评估者相比存在明显差距。
• 副驾驶模式效果：副驾驶模式下，人类参与生成的论文在质量、稳健性和总分等方面均高于自主模式。
• 运行时统计：gpt-4o后端提供了最快的执行速度和最低的成本，而o1-preview在成本方面略高。
• mle-solver性能：在MLE-Bench上，mle-solver比其他求解器（MLAB、OpenHands、AIDE）表现更好，获得更多奖项，并在多个基准测试中超过中位人类性能。

研究结论

• 代理实验室展示了加速科学发现的巨大潜力，通过自动化耗时的任务使研究人员能够专注于创意构思和实验设计。
• 人类参与对提高研究质量和性能至关重要，尤其是在创意生成和评估方面。
• 代理实验室提供了灵活的计算资源选项，以满足不同用户的需求。
• 需要建立治理机制以确保底层的大语言模型（LLMs）生成的内容符合伦理原则和社会价值。
• 未来研究方向包括进行纵向研究，比较研究人员在有无进行特定操作时的研究成果，以及探索自动代理工作流和代理生成技术以优化代理实验室工作流。