OpenAI科学家Jason Wei–20230909

OpenAI科学家JasonWei2023-09-09 要点速览 对于当时的许多华人家庭来说，美国梦就是供孩子去读常春藤盟校，在华尔街谋求一份体面的工作，赚很多钱。而我成为了当时朋友圈中唯一一个从事人工智能研究的人。 早期的化学研究教会了我何为研究的本质，以及如何提出严格的假设并进行测试。 OpenAI科学家JasonWei2023-09-09 要点速览 对于当时的许多华人家庭来说，美国梦就是供孩子去读常春藤盟校，在华尔街谋求一份体面的工作，赚很多钱。而我成为了当时朋友圈中唯一一个从事人工智能研究的人。 早期的化学研究教会了我何为研究的本质，以及如何提出严格的假设并进行测试。 在2019年我创建了第一个对肺癌分类的神经网络。这也是我发表的一篇论文，在论文被接收前被拒了六次。 我对冥想很感兴趣。冥想的作用是观测到你头脑中出现的所有想法，我称之为思想流（streamofthought），连续不断流动的思想。参考人类内在的思考过程，我认为模型也可以有思想流。这项技术上被称为思维链的原因是，思想流更像是杂乱无章地，随机在头脑中涌现的任何东西。而思维链则是一个更有逻辑或组织性质的思维过程。 从谷歌到OpenAI，最大的变化是每个人从做自己的研究、选择项目转变为在具有核心目标的更大团队中工作。 OpenAI的员工工作非常努力，所有人都对通用人工智能(AGI)充满热情。大部分加入OpenAI的人都是想参与研究一些更庞大的事项，成为 GPT这样项目的一员。 我不是非常擅长平衡工作和生活，也不认为每个人都应该渴望做到平衡。事实是，没有哪个超级成功的人是不努力工作的。我的策略是每周休息一天，其他日子都工作，到晚上10点或11点左右。确保睡眠充足，且每周至少锻炼3次。 关于推广宣传，很多研究者做得还远远不够。贝尔实验室著名数学家RichardHamming的建议是，应该花与实际工作（做实验写论文）一样多的时间来做宣传。 华尔街之梦，从银行家到神经网络 Q：能描述下你早年的生活和成长经历，从何时开始接触科研的呢？ A：早年我在弗吉尼亚州的（小镇）上长大，上的公立小学，但考上了一所很有竞争力的高中，也就是ThomasJefferson中学，那是一所你必须参加考试才能被录取的学校，学生SAT的平均成绩非常高。 图片 位于弗吉尼亚州的托马斯杰弗逊科技中学（ThomasJeffersonHighSchoolforScienceandTechnology），享有“全美第一公立高中”的美誉，全美排名前2% 学校里的同学都很拔尖，高中几乎是我人生中最努力的阶段，基本上我在那里学到的最主要的东西就是要「全力拼搏」workhard。大多数人要么喜欢打比赛，要么喜欢研究，我属于后者，从高中阶段就开始做研究了。最初，我在美国海军研究实验室（NavalResearchLab，简称NRL）做了一些化学相关的研究。当时接触研究的机会还很少，但我会尽可能抓住机会。当然，我现在不再从事化学研究了。 Q：早期的化学研究在方法论或思维方式上影响了你后来的工作吗？A：它教会了我何为研究的本质，以及如何提出严格的假设并进行测试。Q：了解到你最初的梦想是成为一名华尔街银行家，这个梦想后来发生了哪些变化？ A：对，过去我们常说美国梦（Americandream）。基本上，对于当时的许多华人家庭来说，美国梦就是让你的孩子去读常春藤盟校，在华尔街谋求一份体面的工作，赚很多钱。我去了达特茅斯，它是 比较低调的常春藤盟校，达特茅斯本身和华尔街有很密切的联系，周围所有人都在卷金融去投行，而我大一时没有得到金融方面实习的机会，这就有点像偏离了轨道。正好我母亲有一个朋友在做人工智能初创公司。我联系上了他，于是决定尝试下做AI，因此我成为了朋友圈当中唯一一个从事人工智能研究的人，有点孤单。（编者注：美国梦通常代表经济上的成功或是企业家的精神。历史学者亚当斯在1931年将“美国梦”定义为，“无论每个人的社会阶层或出生环境如何，生活都应该变得更好，更丰富，更丰裕，每个人都有机会根据能力或成就而定”。） 图片 Q：能分享更多在达特茅斯大学生活的经历和轶事吗？ A：达特茅斯虽然是排名前100的学校，但没有很多从事AI研究的教授。当时正好有一个机会做医学图像数据处理，于是我在2019年创建了第一个可以对肺癌进行分类的神经网络。这也是我试图发表的一篇论文，在论文被接收前我被拒了六次。当时的动机只是单纯地想发表论文，为了申请博士项目。在达特茅斯期间，我也曾经前往丹麦交换。 Q：谈谈你最喜欢的导师以及对你影响最大的人吗？ A：我的校友SamGreydanus，他比我大三岁，我们大概交流过五次。他是在达特茅斯为数不多从事AI研究的人之一，和我一样后来也去了谷歌的AIResidency项目做出很多不错的工作。鉴于当时在达特茅斯AI氛围很一般的情况下，他的存在让我鼓舞人心。他给当时作为机器学习“新学徒”的我写了一封长邮件，列出了很多有用的建议，比如阅读Arxiv、经常发布代码并撰写有关研究的博客文章。具体建议如下： 嗨，Jason，我记得你，很高兴收到你的来信！关于如何进行深度学习研究，我有一些（相当固执己见的）建议。这是一个列表（按最重要的内容/半时间顺序排列）。 1.阅读AndrejKarpathy的所有博客文章 2.阅读ChrisOlah的所有博客文章 2.5阅读你感兴趣的Distill上的任何帖子。或者看下我列出的帖子(3.也许–参加像AndrewNg的Coursera课程这样的在线课程 4.绝对–使用JupyterNotebook、NumPy和PyTorch编写简单的个人项目。当你完成它们时a)发布良好的、记录良好的代码（参见我的 github）b)写一篇关于你所做的事情的简短博客文章（参见我的博客） 5.下载Arx应用程序，浏览Arxiv（机器学习预印本的在线存储库）上的论文。每天左右在通勤途中检查一下。遵循cs.LG、cs.NE和stat.ML标签。另外，请为以下作者加注星标：YoshuaBengio、YannLeCunn、GeofferyHinton、JasonYosinski、DavidDuvenaud、AndrejKarpathy、PieterAbbeel、QuocLee、AlexGraves、KorayKavukcuoglu、GaborMelis、OriolVinyals、JaschSohl-Dickstein、IanGoodfellow和AdamSantoro。如果及时了解他们上传的论文，并浏览我提到的三个类别中论文的标题/摘要，就可以很快对SOTA研究有一个有效的了解。或者：开始每天浏览ArxivSanityPreserver的“热门炒作”和“最近热门”选项卡。 6.当/如果你开始在达特茅斯进行研究时，请确保涉及深度学习的一些元素。 7.如果可以在PyTorch和TensorFlow之间进行选择，请选择PyTorch。你会终生感激这个决定。 8.值得阅读的热门论文：AlexNet论文、AlexGraves“生成序列”论文、JasonYosinski（他是一位优秀作者）的任何论文、神经图灵机论文、 DeepMindAtari论文，也许还有Goodfellow的GAN论文，尽管我还没有读过。如果可以的话，远离GAN。 9.在ML阶段，简单问题+超简单实验»大型、多GPU的工作。有很多好的研究（例如，到目前为止我几乎所有的工作）都可以在一台像样的MacBook上完成。 10.不要被这份清单淹没。你可能会找到更适合自己的道路。我能给出的最好建议就是重复RichardFeynman的建议：“以尽可能无纪律、无礼和原创的方式努力学习你最感兴趣的东西。”Q：在研究道路上，关键的转折点、幸运时刻还有哪些？ A：最幸运的时刻还是加入谷歌AIResidency项目，这个项目的接收率大概是1%，帮助我直接进入工业界。这是一个为期12个月的研究项目，参与者不必拥有博士学位，但你可以作为研究人员进行研究。如果在这个项目中表现出色，就可以留在谷歌担任长期研究员。 思维链CoT，来源于深度冥想，让模型模仿人类的思维流动 Q：在GoogleBrain工作感觉如何，比如思维链的项目，是什么给了你灵感？ A：在2022年之前，在GoogleBrain工作被认为是最好的工作之一，当然现在仍然如此。在谷歌，你有很多自由和资源可以做任何你想做的事情。这相当理想。而且也可以发表很多论文，都会署名，也附带很多荣誉。我在的时期有点像AI研究的黄金时代，我非常爱谷歌。 Q：关于思维链（ChainofThought），你给出的关键词是冥想。能详细说明一下吗？ A：对，我对冥想很感兴趣。冥想的作用是观测到你头脑中出现的所有想法，我称之为思想流（streamofthought），基本上就是连续不断流动的思想，为此我写了一篇评论文章Artificialstreamofthoughthasnon-trivialconnectionstoconsciousness，但当时没有受到多少关注，因为没有实验来证明。 很多观点文章都认为，语言模型可以有思想流，也暗示着意识的存在。我想到可以参考人类如何解决数学问题的过程，在给出问题的答案之前，人类有一个内在的思考流程，于是我从数学问题出发，尝试改变prompt，发现了语言模型也可以具有内在推理能力（要求模型在回答之前进行一系列思考过程，也就是思维链）。起初效果并不好，和模型大小有关，后来更加强大的PalM出现了，模型越大CoT可以做得更好。 后来我将这种思维链的技巧嫁接在解决其他类型的问题上，也表现得很好。技术上被称为思维链的原因是，思想流更像是杂乱无章地，随机在头脑中涌现的任何东西。而思维链则是一个更有逻辑或组织性质的思维过程。 图片 Q：这种冥想的灵感是否和宗教有关？ A：不，我不信教，但我受到了SamHarris所写的《Wakingup—AGuidetoSpiritualityWithoutReligion》一书的启发。这就是我的灵感来源。 （编者注：《Wakingup》一书作者为美国无神论者、公共知识分子、脑神经科学家SamHarris，这本书是写给美国人口百分之二十的”spiritualbutnotreligious”，即相信灵性的存在，但是没有宗教信仰的人。该书强调如何通过冥想消除人类对于自我的幻象，试图用脑科学研究、思想实验来证 明：1）人的思维有更高维度的存在，我们认为的自我、喜怒哀乐其实都是虚幻的，基本就是佛教的世界观2）人可以籍由冥想练习来达到空性的体验） Q：在谷歌，你也领导了finetuning（微调）项目，这项工作面临哪些挑战？ A：对当时我们参与了FLAN项目，那时我们还不知道如何对语言模型做微调，所以很难防止过拟合。我和团队不得不做的一件事就是为这些模型手动编写数百条不同的指令，以防止模型过拟合。其次，要弄清楚实验设计并正确进行实验，当时微调的运算量很大。因此我们必须做出规划，运行消融实验等。同时也考虑设计实验，来评估零样本任务。我们率先在Google内部尝试微调大语言模型以遵循指令。 Q：所以你们团队是指令微调的先驱？ A：OpenAI在我们之前就做过一些指令微调的工作，但他们没有发表相关论文。所以我们应该算是第一个在正式论文中提出指令微调这个术语的团队。 Q：平时是如何组织团队，与最聪明的人一起开展项目的？ A：当你与真正优秀的合作者一起工作时，他们通常有非常高的标准。你需要不断强迫自己专注在重要的工作上，并拥有雄心勃勃的梦想。和他们一起工作时，每当你展示一个成果，他们都会不断地问，有什么方法可以做得比这个结果更好吗？他们通常会不断地push你做得更好。比如我的同事QuocV.Le就经常对我说，如果你能用小10倍的模型来实现这个功能，那就太好了，这确实是一件很难实现的事情。 Q：你也写了很多关于涌现的文章，模型最让你兴奋的涌现能力是什么？A：其中有三篇文章中提到的涌现能