李志飞大模型领域中国OpenAI–20230215
李志飞大模型领域中国OpenAI2023-02-15ChatGPT爆火后，新的共识正在逐渐形成：语言大模型将成为下一个科技时代的超级加速器。中国也需要自己的AI大模型。 而有能力做这件事的人选并不多，李志飞是其中之一。 作为科技创业圈最资深的自然语言科学家之一，李志飞出身美国纽约霍普金斯大学语言处理实验室，博士期间一直研究机器翻译和自然语言处理。离开大学后，李志飞加入谷歌AI团队，主导开发了包括谷歌手机版离线翻译等一系列产品。 2012年，他选择回国，在语音交互领域创业，创立出门问问。 ChatGPT火起来之后，他一个月两次前往硅谷，和来自OpenAI、谷歌、DeepMind等各家的工程师和科学家交流取经。 「AI大模型的元年」来了，这是他最直观的感受。 一番调研之后，他明白这场大模型之战，参赛选手不止巨头，也不会是只有一两个幸存者的「生存游戏」。语言模型、人机交互，变革发生在了李志飞学习、研究、工作了十几年的领域。 他告诉极客公园，已经下定决心投身其中，做一个中国自己的语言大模型。 「我一直想做一个我能做，我喜欢做，同时也能建立壁垒的东西。 」他表示，早在2020年GPT-3刚发布时，他就提出GPT-3是「暴力美学」的胜利，看到了通往AGI的可能性，并最早着手开发GPT-3中文版UCLAI。 01「这就是AI大模型时代的开启」Q：怎么理解这场ChatGPT带来的狂热浪潮？新在什么地方？ 为什么大家现在这么兴奋？ 李志飞：ChatGPT始于一个基于统计的语言模型，通过千亿级参数的训练，让它拥有了各种能力，可以快速学会各种任务。 这次普通老百姓都体验到，ChatGPT在语言表达、回答知识性的问题、多轮对话的上下文逻辑等方面的表现，带来的体验超出所有人的期望。它可以编程、做算术题、写诗，甚至某种程度上比真人做得都要好。 Q：除了震惊的体验本身，在创业者或者资本看来，是怎么把它看成一个变革性的商业机会的？ 李志飞：我过年第二天就再次跑到美国去，初衷就是想了解有没有人清楚这是怎么搞出来的，为什么大模型这么厉害。 我跟Google、OpenAI、DeepMind、Meta、Amazon的人聊，即使技术大牛都还不清楚ChatGPT如何拥有这种能力。但是大家能够看到很多现象。 第一，用户太疯狂了；第二，美国太疯狂了，在美国知名孵化器YCombinator，可能有三分之一以上的项目都是基于大模型做的应用。所有人都认为，这是AI大模型时代的开启，就像2010年移动互联网时代一样。 不到硅谷，切身感受到AIGC的火热，我不会下定此刻是「AI大模型时代」这一结论。我每天七八个会从早说到晚，喉咙都是哑的，都是讨论这个东西。 让你觉得这就是一个时代的开端。 图片来源：DeepMindQ：对这个时间节点，很多人将其比作移动互联网的iPhone时刻。大家已经想清楚这是一场怎样的变革了吗？ 李志飞：为什么说现在AI大模型出来，大家像2010或2011年的时候看移动互联网一样？ 我2010年在硅谷，当年所有人都觉得移动互联网是一个大事，但所有人也都觉得商业模式不清晰，因为屏幕太小，广告做不了，而且网络信号也不好。 但是当时大家看到几个东西，比如屏幕体验已经很好了，3G通讯也能用了，在路上发邮件查餐馆虽慢一些，但是GPS很准。我对现在也有这种感觉，直觉这是一个大事情。 美国创投在2022年10月已经觉醒了，当时我在美国，有一位红杉的投资者跟我说，李志飞，你的时代到了。我说为啥？ 他说你知道吗？ 在美国，红杉所有的管理合伙人只讨论AIGC，别的项目都不看了。 Q：今天，投资AIGC还是很多VC的看点，但最近大家对于底层AI大模型的热情也涨起来了。这是什么原因？ 李志飞：现在很多人把AIGC、ChatGPT、AI大模型搅在一起。要先理清楚这三个是不同的概念。 最底层是AI通用大模型，上面可以做AIGC，比如说Midjourney可以画画，Jasper可以写文案等；也可以基于底层模型做对话机器人，比如基于ChatGPT。 在美国，除了OpenAI和巨头，还有另外三、四家创业公司也都在做AI通用大模型，都有大几亿美金的投入。但是在中国，你突然发现，要进入AI大模型时代，根本就没有一个基本的、能玩得好的AI大模型，怎么做应用？如果现在是移动互联网的开端，安卓、iOS是不是超级重要？ 但是今天中国缺乏大模型时代的安卓、iOS，所以根本没法开发应用。 即使中美完全畅通，以今天中国科技的发达程度，以及资本的力量，AI大模型肯定也是一个必须的基础设施。 Q：AI大模型就是AI时代的操作系统级别的存在？ 李志飞：我不太想把它比作操作系统，也不想把现在看成iPhone时刻或者网景时刻。因为我觉得所有这些比喻，都会让我们错误地去判断这个事情。 如果把它比作操作系统，按历史看我们会觉得中国肯定没戏；如果把现在看成网景时刻或iPhone时刻，那创业者应该选择去做一个网站或移动 APP，但现在中国缺的反而的是一个大模型时代的浏览器或iPhone。 另外从形态来讲，无论是浏览器，还是硬件，还是安卓iOS，都是一个离线的东西，或者是一个静态的东西。 AI大模型是一个跟数据、业务高度融合，需要动态迭代发展的一个存在，它是个service，下面不停在变，和应用深度的融合。它远远比当年静态的事物要更加有多样性，有更多可能性。 Q：更接近一个新时代的云。 李志飞：我觉得比喻成智能云OS更好一点，这是一种整合的流动的Service。凡是离线的、硬件的、实体的来类比，AI大模型都会被带偏。 任何对它历史形态的简单归纳，都有可能束缚对于它的正确理解。 02「它可能让整个价值链都重新塑造」Q：既然不能做定义，怎么理解目前AI大模型展现出的超强能力和想象空间？李志飞：在我看来，它是一个「通用的认知引擎」。 首先它有超强的语言能力，在学习语言的过程中，也学习了很多知识和逻辑。有了这些基本能力后，就能快速拥有做各种任务的能力。 比如说只需要给它少量的数据，就能够做翻译。 本来它只懂中文，但如果你给了一万个中英互译的例子，它就能够很快做好翻译。就像打通任督二脉一样，它很快就能够自己把能力串通。 所以这个认知大模型的能力会带来很多可能性。 比如拿现在的大模型加一些蛋白质结构的数据，它展现出来的预测结构的能力，很可能就比不是基于语言大模型的其它模型效果要好得多。 Q：为什么通用大模型会有这么强大的潜力？李志飞：模型学会了非常底层的结构和机制。 万物都是自然产生的，语言也好，生物结构也好，它一定符合某种我们目前难以解释的规律。模型经过互联网上所有的数据训练之后，它也获得了某种属于自己的解读方式。 Q：这种能力是通过学习语言获得的吗？ 李志飞：语言是底层的突破，如今通用性表现在，这个系统能够通过语言模型，做各种各样的任务。以前的语言模型只能做某一个具体任务。 比如有一个训练好的预训练模型，有潜力做很多任务，但是一旦进行FineTuning(微调）之后，就只能做一个任务了。微调让它处理任务的准确率更高，但却是以丧失多任务能力为代价的。 现在的通用大模型，即使进行了微调后，依旧可以做多个任务。 预训练的核心是让它有基础的认知和逻辑能力，通过微调引导，让它能够在各项任务上处理得更好，知道怎么使用已有的知识。 Q：就像让一个人上完大学之后，获得了基础能力，然后可以从事不同的岗位，做不同的事情。而不是在幼儿园的时候，就开始训练它拧螺丝。 李志飞：这个比喻很对。 以前做某个单独任务，比如机器翻译，就像一上来就教它拧螺丝。当然这也需要一定的语言逻辑和知识能力。 但是如果第一天只教了拧螺丝，比起先让它读大学，然后再教它拧螺丝，可能后者拧得更好。第一是学得快速高效，比如之前可能要教5年，现在只要教5天就行了。 第二，不但可以拧螺丝，还可以教它写论文，做教授。只要用很少量的例子，就可以让它快速学习。 Q：这样通用大模型的出现，对于AGI（通用人工智能）意味着什么？李志飞：今年可以说是AI通用大模型的元年。 对于AGI来说，我认为是明确有光，越来越逼近，也可能永远都不能到达。今天人类的智能可能也没有被挖掘充分。 AGI的天花板可能是人类集体智能的一个集合。 如果你把全世界每一个人具备的能力，以及特异的东西都聚合在一起，看成一个抽象统一体，这就通向集体智能。如果这样假设，现在是这个阶段的起点。 Q：如果说现在我们能够看到基于AI带来的全新生产力。它会给现实带来怎样的影响？ 李志飞：现在ChatGPT或AIGC，还存在于虚拟世界，帮助人类提升效率，比如自动化一些步骤、做一些重复的工作，或者给一些脑暴idea。未来三五年，都是人的得力助手。 图片来源：DeepMind我们为什么觉得它厉害，后面的应用可能远超互联网，因为这是一个「通用的认知模型」。一旦把这个方法论、基础放到不同领域，可能会重塑很多东西。 我觉得它可能真的会让整个价值链都重新塑造。 比如对于程序员，以后可以用自然语言沟通，提供数据，模型直接写程序。 这可能就会导致计算范式产生巨大的改变，操作系统、分布式计算、甚至芯片本身的大部分工作，都会从程序驱动变成数据驱动。这种改变发生以后，今天还有生意的一部分企业，可能再过10年就没生意了。 03「AI通用大模型是一个核武器，它是有时间窗口的」Q：2020年GPT-3出来的时候，大家挺震撼的，国内也热过一波。在那个变化发生的时候，大家没有去把它持续不断地做好，是因为什么？ 李志飞：抽象地说，第一，没有对于AGI的信仰；第二，就算你有信仰，像我这种已经产生的信仰，并且当时也训练了GPT-3中文版UCLAI，但还是不够坚决；第三，到执行层面，也没有足够的钱；第四，没有一个有真实用户的线上大模型，就没有产品和数据闭环。 GPT-3从2020年已经在线上跑了，拿到数据，然后每个星期重新优化迭代。 GPT-3中文版UCLAI|图片来源：出门问问Q：在国内，功能性、专用的AI很早就在各个场景里应用了，但是大家更多去考虑应用场景，而没有对大模型的革命力有更多的想象。 李志飞：对，刚才只是讲了一些抽象的东西。整个土壤不一样，土壤孕育的人也不一样。人和钱都很重要。 比如美国，有一批财务自由的人，总是要干一些跟别人不一样、超级不确定的东西。甚至有时候非常偏执。 OpenAI前三年在毫无营收的前提下，每年烧5亿美金。 咱们对不确定性的东西，天然比较恐惧，但跟10年前比好太多了。 10年前中国是什么状况，当时我回国做中文版Siri，做一个语音APP，大家都觉得如神一般。 如果我今天只是把API（ApplicationProgrammingInterface应用程序编程接口）包装一下，做一个ChatGPT，大家就会觉得山寨。因为大家已经开始认识到，需要10亿美金砸里边做大模型。 Q：如果说今天就像哥伦布已经发现新大陆，在中国我们要去复现属于自己的AI大模型，是怎样的难度？李志飞：首先，我们知道新大陆肯定有金子；第二，我们大概知道路线是什么样子，但没有特别精准的地图。 我们知道LLM能够实现，也大概知道它的原理是什么样子，但是做的过程中，肯定有无穷的风浪，有很多决定需要去做，才能够到达彼岸。现在市场上流传着中美之间的差距是两年，或者不到两年。 我觉得，如果现在有足够多的钱、算力、人，我们今天开始搞一个中文ChatGPT，可以做到和它性能差不多或者差一点，这就是我们培养的一个大学生。 人家的大学生现在已经80分了，我们培养的是60几分，只要努力，后面升到80分也越来越快了。 Q：比较而言，目前中国做AI大模型，有什么优势，有什么劣势？ 李志飞：先说短处，对于大规模的AI大模型，我们的人才是非常少的，因为中国没有怎么训练出过好的大模型。 过去我们的模型参数可能也很多，但不是通用的，语音
