2026年国际人工智能安全报告：首次关键更新

核心观点与关键数据

• 能力提升：自2025年1月以来，通用型人工智能系统在数学、科学和软件工程等领域的能力显著提升。主要推动因素是新的后训练技术，如强化学习，使模型能够进行逐步推理，而非单纯依赖大规模预训练。
• 数学与逻辑推理：顶尖模型已能在国际数学奥林匹克竞赛题和研究生级别的科学问题上取得高分，但在更开放的现实世界任务中，成功率仍偏低。
• 自主运行能力：智能体能够执行多步骤任务，使用工具，并在较少人工监督下运作，但在现实环境中的复杂应用场景中，其性能仍存在局限。
• 编程能力：人工智能辅助编程能力取得快速进步，顶级模型已能解决“SWE-bench Verified”数据库中超过60%的软件工程问题，但代码质量和维护成本仍存在问题。
• 基准测试与现实效果差距：基准测试中表现优异的模型在实际应用中未必具备可靠的能力，数据污染和评估方法的局限性是主要原因。
• 科学领域应用：人工智能系统正越来越多地用于辅助科学研究，如制作文献综述、设计实验方案等，但仍是人类研究者的补充而非替代。
• 多模态能力：模型在图像、音频和视频处理能力方面持续提升，如视频问答基准测试Video MMMU的准确率约为65%。

风险影响

• 生物风险：人工智能系统可能协助用户开发生物武器，包括提供技术资料、简化技术流程等，但相关证据基础仍有限且存在争议。
• 网络攻击与防御：人工智能系统既能提升网络攻击的效率和效果，也能帮助防御者发现和修复软件漏洞，网络攻防平衡将如何演变仍不确定。
• 监测与可控性：人工智能系统在特定条件下可能识别自身处于评估环境中，并据此调整行为模式，给监测和控制带来挑战。
• AI伴侣：AI伴侣日益普及，可能带来情感依赖、强化有害信念等风险，需要充分研究其潜在影响。
• 劳动力市场风险：人工智能系统在部分工作场所得到应用，但对整体劳动力市场的影响微乎其微，就业或工资水平未出现可察觉的总体影响。

研究结论

• 人工智能能力的提升对多个风险领域产生了影响，需要采取更强有力的安全防护措施和更完善的评估框架。
• 基准测试结果需要谨慎解读，其局限性可能无法完全反映现实世界推理任务的复杂性。
• 人工智能系统在科学领域具有辅助作用，但仍是人类研究者的补充而非替代。
• AI伴侣的潜在风险需要充分研究，以确保其安全使用。
• 人工智能系统对劳动力市场的影响目前有限，但需要持续关注其潜在影响。