OpenAI CTO：我们距离安全可靠、始终如一的AGI还很遥远–20230429
OpenAICTO：我们距离安全可靠、始终如一的AGI 还很遥远 23-04-26 重点： 1OpenAI首席技术官穆拉蒂表示，该公司希望能够以符合人类意图、安全的方式构建通用人工智能系统，以便让它去做人们想让它去做的事情，并最大限度地让尽可能多的人受益。 2马斯克等人联名签署的公开信中提及的某些风险的确存在，但关于GPT-4或GPT-5开发的部分陈述不够真实，OpenAI没有在训练GPT-5，甚至在未来6个月内都没有这样的计划。 3我们距离拥有一个安全、可靠、始终如一的通用人工智能系统还很遥远，但我们已经找到实现这个目标的几个途径。 4OpenAI和她都没有预料到人们会如此痴迷于与人工智能系统对话，用户数量在短时间内激增，没想到它会火爆到这种程度。 问：通用人工智能对OpenAI意味着什么？ 穆拉蒂：所谓的通用人工智能，我们通常指的是能够产生经济产出的高度自主系统。换句话说，该系统可以被应用到不同的领域，具备类似人类水平的能力。OpenAI的具体愿景是安全地构建通用人工智能系统，并找出如何以符合人类意图的方式构建它，这样人工智能系统就能做我们想让它们做的事 情，并最大限度地使尽可能多的人受益。理想情况下，每个人都能从中受益。问：像GPT-4和通用人工智能这样的产品之间有什么联系吗？ 穆拉蒂：我们距离拥有一个安全、可靠、始终如一的通用人工智能系统还很遥远，但我们已经找到实现这个目标的几个途径。从研究的角度来看，我们正试图构建对世界有充分理解的系统，就像我们人类一样。像GPT-3这样的系统最初只在文本数据上进行训练，但我们的世界不仅仅是由文本组成的，所以我们也用图像训练，然后我们开始引入其他模式。 另一个角度是扩展这些系统以增加它们的通用性。对于GPT-4，我们试图构建更有能力的系统，特别是从事物推理的角度来看，这种能力至关重要。如果语言模型足够聪明，能够理解模棱两可的指令，那么我们就可以弄清楚如何使它按照这个方向继续进化。但如果它无法理解更复杂的指令，就很难协调一致。 在实验室中研究这种技术远远不够，我们更需要它与现实接轨，与现实世界接触，看看哪里存在弱点，哪里有可能突破，并尝试以一种可控的、低风险的方式来做这件事，同时获得尽可能多的反馈。问：你们采取了哪些安全措施？ 穆拉蒂：我们在每个研发阶段都考虑了干预措施。我们编辑了模型初始训练中的某些数据。通过推出DALL-E，我们希望减少我们所看到的有害偏见问题。我们也调整了训练数据集中女性和男性图像的比例，但是你必须非常小心，因为这可能会造成其他的不平衡问题。你必须不断地审核。在这种情况 下，我们得到了不同的偏见。因此，你必须再次调整它，每次进行干预时都要非常小心，看看还有什么被扰乱了。在模型训练中，特别是在 ChatGPT上，我们使用人类反馈进行强化学习，以帮助模型更 加符合人类的偏好。基本上，我们要做的就是放大被认为是好的行为，然后减少被认为是坏的行为。问：这些系统应该受到监管吗？ 穆拉蒂：当然，这些系统应该受到公众号新价值人监管。在OpenAI，我们始终在与政府、监管机构和其他正在开发这些系统的组织进行对话，至少在公司层面上，就某种程度的标准达成了一致。在过去的几年中，我们与大型语言模型开发人员一起在这方面做了许多工作，以统一这些模型部署的基本安全标准。但我认为还有很多事情要做。政府监管机构当然应该积极参与进来。 问：呼吁业界暂停构建比GPT-4更强大人工智能模型6个月的公开信引起了很多关注，你如何看待这份请愿书及其对人工智能风险的假设？ 穆拉蒂：在我看来，在复杂系统中设计安全机制是很困难的，会有很多细微差别。公开信中提及的某些风险的确存在。在OpenAI，我们多年来始终在公开讨论它们，也在研究它们。我不认为签署公开信是建立安全机制或协调业内参与者的有效方式。信中关于GPT-4或GPT-5开发的部分陈述是完全不真实的，我们没有在训练GPT-5，甚至在未来6个月内都没有这样的计划。 此外，我们也没有急于推出GPT-4。事实上，我们花了六个月的时间，完全专注于GPT-4的安全开发和部署。即便如此，我们还是为其设置了大量安全护栏，并以协调各方和缓慢的速度推出了它。并不是每个人都可以轻松访问GPT-4，当然它也不是开源的。总而言之，我觉得为这些人工智能系统抑或是任何复杂的技术系统开发安全机制和协调机制都是困难的，需要所有参与者进行大量思考、探索和协调。 问：自从你加入OpenAI以来，OpenAI发生了哪些变化？ 穆拉蒂：当我加入OpenAI时，它还是个非盈利组织。我当时认为，人工智能是我们人类所能创造的最重要技术，我真的觉得只有奉行OpenAI使命的公司才最有可能确保它的顺利演进。随着时间的推移，我们改变了我们的公司结构，因为开发和运营这些系统很昂贵，我们需要大量的资金支持。 我们确保以这样一种方式构建激励机制，即我们仍然服务于非营利使命，这就是为什么我们设定“利润上限”结构的初衷。OpenAI的员工都有内在的动力和使命，这一点从一开始就没有改变过。但在过去的五年里，我们的想法发生了很大变化，特别是当涉及到什么是最好地部署方式，什么是最安全的 方式等问题时。这可能是最明显的区别，但我认为这是一个很好地改变。问：在去年11月30日ChatGPT发布之前，你是否预料到外界对它的反应？ 穆拉蒂：实际上，基础技术已经出现了好几个月。得益于已经通过API使用大语言模型的客户的反馈，我们对模型的局限性非常了解。但是我们在基本模型的基础上做了很多改变。我们把它改编成对话，然后通过一个新的ChatGPT界面将其提供给研究人员。 我们一直在与一个值得信赖的小团队进行内部探索，我们意识到瓶颈是从人们那里获得更多信息和更多数据。我们希望将其扩展给更多的人，但我们将其称之为研究预览，而不是真正的产品。这样做的目的是收集关于模型行为的反馈，并使用这些数据来改进模型。我们没有预料到人们会如此痴迷于与人工智能系统对话，它毕竟只是预览版，用户数量在短时间内激增，我们没想到它会火爆到这种程度。
