OpenAI计划在2027年创建AGI 在本文档中,我将披露我收集到的有关OpenAI(延迟)到2027年创建人类级AGI的计划的信息。并非所有这些都很容易验证,但希望有足够的证据说服您 摘要:OpenAI于2022年8月开始训练125万亿参数多模态模型,第一阶段是Arrakis,也称为Q*。模型于2023年12月完成训练,但由于推理成本高,发布被取消。这是计划于2025年发布的原始GPT-5。Gobi(GPT-4.5)已更名为GPT-5,因为原始GPT-5已被取消。 Q*的下一阶段,最初是GPT-6,但更名为GPT-7(最初于2026年发布),由于埃隆·马斯克最近的诉讼而被搁置 Q*2025(GPT-8)计划于2027年发布,实现完整的AGI ... Q*2023=48IQ Q*2024=96IQ(延迟) Q*2025=145IQ(延迟) ElonMusk因为他的诉讼而导致延误。这就是为什么我现在要透露这些信息,因为无法造成进一步的伤害 我看过很多关于AGI的定义——通用人工智能——但是我将AGI定义为一种人工智能,它可以做任何一个聪明人所能做的智力任务。 2020年是我第一次被AI系统震惊-那就是GPT-3。GPT-3的升级版GPT-3.5是ChatGPT背后的模型。当ChatGPT发布时,我觉得更广阔的世界终于赶上了我两年前与之互动的东西。我在2020年广泛使用了GPT-3,并对其推理能力感到震惊。 GPT-3及其半步后继GPT-3.5(为现在著名的ChatGPT提供动力-在2023年3月升级为GPT-4之前),是朝着AGI迈出的一大步,而早期的模型不是。需要注意的是,像GPT-2这样的早期语言模型(以及自Eliza以来的所有聊天机器人)根本没有真正的连贯响应能力。那么为什么GPT-3如此巨大? ... 参数计数 “深度学习”是一个概念,基本上可以追溯到20世纪50年代人工智能研究的开始。第一个神经网络是在50年代创建的,现代神经网络只是“更深”的,意思是,它们包含更多的层-它们更大,并且可以在更多的数据上进行训练。 如今,人工智能中使用的大多数主要技术都植根于1950年代的基础研究,并结合了一些次要的工程解决方案,例如“反向传播”和“变压器模型”。总体而言,人工智能研究在70年中没有发生根本性变化。因此,最近人工智能能力激增的真正原因只有两个:规模和数据。 该领域的越来越多的人开始相信我们已经解决了AGI的技术细节数十年,但直到21世纪才有足够的计算能力和数据来构建它。显然,21世纪的计算机比1950年代的计算机强大得多。当然,互联网是所有数据的来源。 那么,什么是参数?您可能已经知道了,但是要简要总结一下,它类似于生物大脑中的突触,这是神经元之间的连接。生物大脑中的每个神经元与其他神经元大约有1000个连接。显然,数字神经网络在概念上类似于生物大脑。 ... … 那么,人脑中有多少个突触(或“参数”)? 大脑中最常见的突触计数数字大约是100万亿,这意味着每个神经元(人脑中的约1000亿)大约有1000个连接 。 如果大脑中的每个神经元都有1000个连接,这意味着一只猫大约有2500亿个突触,一只狗有5300亿个突触。突触计数通常似乎可以预测更高的智力,除了少数例外:例如,大象在技术上的突触计数比人类高,但智力却低。 对于智力较低的突触计数较大,最简单的解释是质量数据较少。从进化的角度来看,大脑是在数十亿年的表观遗传数据上“训练”的,人类的大脑是从比大象更高质量的社交和交流数据进化而来的,导致我们优越的推理能力。不管怎样,突触计数绝对重要。 同样,自2010年代初以来,人工智能能力的爆炸式增长是计算能力和数据多得多的结果。GPT-2有15亿个连接,少于老鼠的大脑(约100亿个突触)。GPT-3有1750亿个连接,这与猫的大脑有些接近。 从直觉上看,猫大脑大小的AI系统是否会优于比老鼠大脑小的AI系统? ... 预测AI性能 … 2020年,在1750亿参数GPT-3发布后,许多人猜测一个模型在100万亿参数下的潜在性能~600倍,因为这个参数计数将与人脑的突触计数相匹配。2020年没有强烈的迹象表明任何人都在积极研究这种大小的模型,但猜测很有趣。 最大的问题是,是否可以通过参数计数来预测AI性能?事实证明,答案是肯定的,正如您将在下一页看到的。 [来源:https://www.lesswronry.com/posts/k2SNj3jXaLGhBeYP/extrulating-gpt-n-performance] [以上来自Lanrian的LessWrong帖子。] … 正如Laria所说明的那样,外推表明,在人类大脑大小与参数计数相匹配的同时,AI表现似乎莫名其妙地达到了人类水平。他对大脑中突触数的计数大约是200万亿参数,而不是通常引用的100万亿数字,但这一点仍然存在,100万亿参数的性能非常接近最佳。 顺便说一句,需要注意的一件重要的事情是,尽管100万亿在性能上有点不理想,但OpenAI正在使用一种工程技术来弥合这一差距。我将在文档的最后解释这一点,因为它对OpenAI正在构建的东西至关重要。 Lanrian的帖子是许多类似的在线帖子之一-它是基于以前模型之间的跳跃的性能推断。OpenAI当然有更详细的指标 ,他们已经得出了与Lanrian相同的结论,正如我稍后将在本文档中展示的那样。 那么,如果AI性能是基于参数计数可预测的,并且〜100万亿参数对于人类级别的性能来说就足够了,那么100 万亿参数AI模型何时发布? ... GPT-5在2023年底实现了原始AGI,智商为48 … 第一次提到OpenAI正在开发的100万亿参数模型是在2021年夏天,在Cerebras首席执行官(AndrewFeldman )的有线采访中提到了这一点,SamAltman是该公司的主要投资者。 在2021年9月举行的名为AC10的在线聚会和问答中,SamAltman对AndrewFeldman的回应。至关重要的是要注意SamAltmanADMITS对其100万亿参数模型的计划。 (来源:https://albertoromgar.medium.com/gpt-4-a-viral-case-of-ai-misinformation-c3f999c1f589 https://www.reddit.com/r/GPT3/comments/pj0ly6/sam_altman_gpt4_will_be_remain_textonly_will_not/ reddit帖子本身来自LessWrong帖子,该帖子是在SamAltman的要求下删除的:https://www.lesswronly.com/posts/aihztgJrknBdLHjd2/sam-altman-q-and-a-gpt-and-agi) … 人工智能研究人员伊戈尔·拜科夫(IgorBaikov)在几周后声称,GPT-4正在接受训练,并将在12月至2月之间发布。再次,我将证明伊戈尔确实拥有准确的信息,并且是可靠的来源。这将很快很重要 Gwern是AI世界中的著名人物-他是AI研究员 和博客。他在Twitter上(2022年9月)向IgorBaikov发送了消息,这是他收到的回应。重要的是要记住:“大量参数”。“文本”,“音频”,“图像”,“可能是视 频”, 和“多式联运”。 这来自一个名为“thisthewayitwillbe”的subreddit,这是一个小型的私人subreddit,我是其中的一部分,由一位对AGI感兴趣的数学教授运营。AI爱好者(和一些专家) 使用subreddit来讨论比你在主流中发现的更深入的AI主题。 “庞大的参数数量”?听起来像伊戈尔·拜科夫引用了一个100万亿参数模型,因为到2022年夏天他的推文发布时,已经对5000亿参数模型和多达1万亿参数模型进行了多次训练(使这种大小的模型毫无例外,当然也不是“巨大的”)。 这些来自“rxpu”的推文似乎是来自土耳其的AI发烧友(?),很有趣,因为它们在其他人之前就对GPT-4的发布窗口提出了非常相似的声明(相信我-我每天花很多时间在互联网上搜索类似的声明,而在他之前没有人提出这个具体的声明)。 他还提到了一个“125万亿突触”GPT-4-然而,他错误地指出GPT-3的参数计数为1万亿。(似乎rxpu确实有内部信息,但得到了一些与参数计数混合的东西-再次,我将在后面说明,并证明rxpu没有说谎)。 … 这是一个较弱的证据,但值得包括在内,因为“roon”作为硅谷人工智能研究员相当值得注意,其次是OpenAI首席执行官SamAltman和Twitter上的其他OpenAI研究人员。 2022年11月,我联系了一位名叫AlbertoRomero的AI博客作者。他的帖子似乎在网上传播得很远,所以我希望如果我向他发送一些关于 GPT-4的基本信息,他可能会写一篇文章,这个词就会传出去。这次尝试的结果非常出色,我将在接下来的两页中展示。 AlbertoRomero的帖子。一般回复将显示在下一页。 100万亿个参数泄漏风靡一时,覆盖了数百万人,以至于包括首席执行官萨姆·奥特曼在内的OpenAI员工不得不做出回应——称之为“完全胡说八道”。边缘称之为“事实上不正确”。正如你在左边看到的那样,阿尔贝托·罗梅罗声称对泄漏负责。 … 伊戈尔·拜科夫,“巨大数量的起源” 参数”的声明,也看到了GPT-4泄漏的病毒传播(这基本上是他自己做的 ),并做出了回应。 所以,毕竟,当他说“大量参数”时,伊戈尔确实意味着“100万亿参数 ”。 但是,伊戈尔是可靠的消息来源吗?他的其他说法是否准确?多模态呢? GPT-4处理图像、声音和视频的能力怎么样?我将很快证明伊戈尔的可靠性。 在2022年10月/11月左右的某个地方,我确信OpenAI计划在发布之前首先发布GPT-4的1-2万亿参数子集 完整的100万亿参数模型(“GPT-5”)。 这些来源不是特别可靠,但他们都说了同样的话- 包括rxpu, 他曾经声称有一个125万亿的参数模型,然后错误地声称GPT -3是1万亿-我相信他把他的信息搞混了。 <---22) 这里的消息来源可信度各不相同(Jyri和Leeor是旧金山的投资者,Harris是一名人工智能研究员),但他们都莫名其妙地说同样的话——GPT-4 正在2022年10月/11月进行测试。据美国军事人工智能研究人员称(从2022年10月起)切丽·M·波兰,它肯定是在10月份接受 训练的,这再次与伊戈尔·拜科夫的泄密相一致。 … OpenAI的官方立场,正如SamAltman本人所证明的那样,100万亿参数GPT-4的想法是“完全胡说”。这是对的一半,因为GPT-4是完整的100万亿参数模型的1万亿参数子集。 为了说明100万亿参数模型尚未到来,并且仍在开发中,Semafor在2023年3月(GPT-4发布后不久)声称GPT-4是1万亿参数。(OpenAI拒绝正式披露参数计数)。 OpeAI声称GPT-4在8月份“完成了训练”,而我们知道一个“巨大的”多模态模型在8月到10月之间正在训练。对此的一种解释是 ,OpeAI撒谎了。另一种可能性是,1万亿参数GPT-4可能在8月完成了第一轮训练,但在8月至10月之间进行了额外的再训练, 这也是整个100万亿参数模型的大部分训练时间。 我现在将提供GPT-4的证据 不仅接受了文本和图像方面的培训,还接受了音频和视频方面的培训。 弗朗西斯·赫勒似乎中等可信,但 这一页不是最可靠的证据-我把它包括在内,因为它似乎证实了其他来源弗朗西斯是一位投资者、企业家和作家。 他在推文中列出的信息 找不到“网络耗尽”的团队 在任何其他出版物,任何泄漏或任何在线帖子中,所以他没有从其他地方“窃取”它。 一个令人难以置