强化学习环境与科学中的强化学习：数据铸造厂与多智能体架构

核心观点与关键数据

• 强化学习（RL）扩展是解锁 AI 能力的关键路径：过去几个月验证了扩展 RL 计算能力的有效性，OpenAI 通过持续优化 RL 计算实现了模型性能提升。
• 数据规模化是扩展 RL 的主要挑战：与预训练利用整个互联网数据不同，RL 需要构建专门的语料库，任务和数据的聚合是关键。
• 评估体系转向实用性与能力：OpenAI 的 GDPval 评测涵盖 44 个职业、1000 多项任务，衡量模型在实际工作中的表现，GPT-5.2 胜率约为 71%。
• 环境构建是数据规模化的重要环节：超过 35 家公司专注于构建 RL 环境，包括克隆网站、模拟软件平台等，编程环境需求最高。
• 数据铸造厂与专家外包：实验室通过外包公司构建环境和任务，Mercor、Surge 等公司提供领域专家服务，收入主要集中在西方实验室。
• 强化学习即服务（RLaaS）：初创公司提供定制化 RL 服务，OpenAI 和 Anthropic 也加入竞争，企业级需求推动市场发展。
• 面向科学的强化学习：模型可用于搜索、规划、执行实验，Periodic Labs 构建自动化实验室生成数据，Medra 提供生物学数据。
• 多智能体架构：GPT-5.2 Pro、Gemini Deep Think 等采用多智能体架构协同解决问题，OpenAI 是该领域的领导者。

研究结论

• 模型能力提升依赖于 RL 计算扩展和数据规模化：实验室通过购买环境、外包数据和构建任务提升模型性能。
• 任务增强而非自动化是短期趋势：模型主要增强人类工作，而非完全自动化，例如软件工程和放射学领域。
• 生物学领域挑战与机遇并存：实验时间长、数据稀疏，但开源数据和制药公司合作提供机遇。
• 多智能体架构潜力巨大：通过协同合作，LLM 能力将进一步提升，解决更大型项目。

实验室采购模式

• Anthropic：积极购买环境，打造供应商生态，关注编程、计算机使用和生物学等领域。
• OpenAI：采购环境，组建内部数据团队，通过 RFT 服务提供定制化模型。
• Google DeepMind：采购环境，利用自身平台优势，关注编程和计算机使用领域。