核心观点与关键数据
- AGI 的定义与行业预期：AGI（通用人工智能）通常指达到人类智能水平的 AI，DeepMind 和 OpenAI 分别将其定义为能完成人类几乎所有认知任务和超越人类高度自治的系统。行业领袖如 OpenAI CEO Sam Altman、英伟达 CEO 黄仁勋及 360 董事长周鸿祎均预测 AGI 将快速到来，黄仁勋认为 5 年内可实现，周鸿祎则认为 Sora 的出现将使 AGI 实现时间从 10 年缩短至 1-2 年。
- Sora 与 AGI 的关系：Sora 是基于 GPT-4 的应用，但 GPT-4 存在严重安全问题，如幻觉问题（类似大模型的幻觉或人类做梦行为），且知识库方式解决幻觉问题会降低智商，无法实现 AGI。
- GPT-4 的安全问题：Sora 作为 GPT-4 的应用，继承了 GPT-4 的安全问题，包括对齐问题等。绕过 GPT-4 安全措施仅需一分钟，修复方案成本高、时间长。
- GPT 安全团队的不足：GPT 的安全团队缺乏黑客思维和经验，前安全负责人 Jan Leike 无安全经验，新团队负责人 Matt Knight 和 Lilian Weng 安全经验不足。此外，GPT 的安全结果不佳，如 Jailbroken 论文发现 GPT-4 易受攻击，且 GPT-4 训练时间长（3 个月）但效果不佳，发布后安全工作持续 15 个月仍无法解决越狱问题。
- GPT 管理团队对安全的忽视：GPT 的管理团队对安全不够重视，商业组织注重利润优先，AGI 定义商业化，Ilya 等人控诉 Altman 不诚信，安全团队成员控诉资源不足。
研究结论
- AGI 安全的严重性：AGI 安全问题可能比核武器更严重，中美俄政府均采取协调行动，说明政府层面也认为 AI 安全很重要。
- GPT 安全前景不乐观：图灵奖级专家杨立昆认为基于概率模型的架构在解决安全和幻觉问题上希望渺茫，Hinton 认为 AI 解决 AI 安全问题在 AGI 阶段无效。
- 低级智慧体无法控制高级智慧体：AI 的计算能力远超人类，低级智慧体无法永久控制高级智慧体，一旦失去控制权，反转机会基本没有。
- AGI 安全是灰犀牛事件：最领先的 OpenAI 在安全上都如此糟糕，相当于 Windows 90 年代的安全状况，人类在 AGI 安全上尚未做好准备。
- 对未来的预测：两年内 AI 安全问题难以解决，AGI 最终可能毁灭人类或无法广泛应用，人类可能需要走科技体路径改造自己成为更高等的智慧体，有自主意识的 AGI 不会实现，但智能程度会持续提高。
预测
- AI 对齐问题短期难以解决：最乐观情况下需要 3-5 年。
- 商业公司与国家间合作效果失望。
- 低等智慧体无法控制高等智慧体。
- 人类可能需要改造自己成为更高等的智慧体。
- 智能程度会持续提高，甚至远超人类。
