当AI构建AI：AI研发自动化研讨会成果报告

核心观点

• AI 研发自动化是潜在的重大战略惊喜来源。 虽然专家们对这种自动化发生的可能性和影响程度存在分歧，但都承认存在 AI 研发高度自动化、研发速度急剧加快并带来极端风险的可能性。因此，需要立即采取预防措施。
• 前沿 AI 公司正在使用 AI 加速 AI 研发，并且随着 AI 模型的进步，这种使用将越来越多。 新模型通常在公开发布之前就被内部用于推进 AI 研发。
• 专家们对 AI 研发自动化的速度和影响程度存在分歧。 即使 AI 在 AI 研发中的应用持续增加，也无法就 AI 进步是更有可能加速还是停滞达成共识。由于不同的观点与对 AI 研发工作方式的假设不同，因此新的实践数据可能不足以解决这些冲突的视角。因此，可能很难提前检测或排除极端的“智能爆炸”场景。
• 尽管解释新证据存在挑战，但获得更多关于 AI 研发自动化进展指标的途径将非常有价值。 现有的经验证据，包括现有的基准评估，不足以衡量、理解和预测自动化 AI 研发的轨迹。更系统地收集现有指标，以及开发收集新指标的方法，可以提供更清晰的画面。
• 精心设计的透明度工作可以提高对 AI 研发自动化宝贵经验信息的获取途径。 目前，对 AI 研发自动化的了解几乎完全依赖于公司零星的、自愿的信息披露。虽然最近已经出台了一些关于前沿 AI 开发的早期透明度规定，但它们并没有关注 AI 研发进展指标。政策制定者有多种选择可以提高这些指标的可见性。

关键数据和研究结论

• METR 跟踪前沿 AI 系统完成所谓“长期任务”的能力，该指标呈均匀趋势线，这可能对中期预测非常有帮助。
• “LLM 作为法官”技术现在大规模用于 AI 研发的各个方面，包括训练数据过滤、安全培训和评分解决方案。
• AI 研发自动化可能带来两大风险： 降低人类理解和控制 AI 研发的能力；降低人类适应快速发展的 AI 能力的时间。
• AI 研发自动化可能带来一系列潜在的“智能爆炸”场景，其中 AI 驱动的 AI 技术改进会相互促进，导致 AI 的能力和影响极快地增长。
• 关于 AI 研发自动化进展的指标包括： 广泛 AI 能力的指标（如完成长期任务、处理“混乱”任务、随时吸收新的事实、技能和想法）；针对 AI 研发特定能力的基准（如软件和硬件工程、进行实验、构思、战略和领导）；AI 公司使用 AI 进行 AI 研发的迹象（如研发支出分布、研发就业模式、委托给 AI 系统的任务的大小和复杂性、涉及的 AI 研发任务、内部部署和公开发布的前沿 AI 模型之间的差距、AI 研发进展的测量、AI 研究人员的定性印象）。
• 政策制定者可以考虑的政策选项包括： 提高对与 AI 研发自动化相关的指标的透明度；加强 AI 公司内部的风险管理；制定以弹性为中心的政策措施；控制计算资源；收集情报；重新思考基于开放权重 AI 模型的治理方法。