竹间智能前微软工程师–NLP语言模型与ChatGPT相关应用及发展–20230327

竹间智能NLP语言模型与ChatGPT相关应用及发展20230327Transformer是翻译，做法是把一个字放出来，再去计算下一个可能出现什么字跟前面的字更有相关，再加上其他训练技巧，再去预测下面可能会出现的几率，然后给你最高几率的答案，所以它是一个字预测字的过程，它的智能推理是来自于这里。chatGPT里面有三个重要技术：1、incontextlearning，即在众多信息当中去做自学习。Incontextlearning可以做多轮对话，根据对话中的信息去了解文本中的信息，再去知道字跟字之间的关系。 2、chatGPT的前一版叫instructedGPT，instructedgpt是在gpt的模型上面做一个instruct指导的技术，让机器能够接受指令，指令里面去跟它讲，我要做什么，我这个模型我要做什么目的，go是什么他就去做，然后给你output。3、chainofsort。每一次在想要完成事情的当中，有连续性的思考步骤。比如说第一步要做什么，第二步要做什么，第三步做什么？比如说第一步帮我写一篇演讲稿。为什么能够在5天之内有100万个用户在在两个月之内就达到1亿个用户，是因为他能够帮人去解决众多不一样的事情，他已经显现一个通用的人工智能。美国学生可以通过它做出各式各样不同的论文，包括蛋白质分析的paper，现在更多的美国的很多的老师也鼓励学生开始用chatGPT。昨天发布支持plungin插件，gpt已经有500多个插件存在了，可以给你股票信息，可以给你汇率的信息，可以给你去下单，可以下单，送快递，电商买东西，买机票、订酒店、订旅馆叫叫出租车，可以让你在里面去查各式各样的东西，有外界的第三方的信息服务的的插件都已经接进去了。未来不仅仅是一个聊天机器人，它未来可会取代整个的互联网的入口，现在互联网的入口可能是电商入口跟搜索引擎入口，还有APP的入口，未来会是chatgpt这样的一个入口，这个入口里面已经可以帮你完成很多事情。为什么这个入口可以取代搜索引擎跟APP，因为入口具有通用的人工智能。OpenAI目前没有对国内开 放，是国内创业公司的福利，用chatGPT的技术来服务14亿的人口，国内的大型互联网公司以及搜索公司，未来可能会被颠覆。只要有一个类似的东西出来，可以在里面获取知识，叫外卖，叫共享单车，打车，电商，或者是搜索，这个入口可以改变很多的人的工作，比如画图、写营销文案等，未来将改变整个生态。Google我个人觉得机会不大，因为微软生态已经成立了，现在超过2亿个用户。软件本身并不重要，模型本身没有价值，软件最大的价值是生态的大小。当生态一成立以后，那么就是winnertakesall，就难以形成第二个生态，除非生态已经饱和了，有新的形式出来。目前广告业务国内百度是60+%，360是20+%，未来在大模型的效应也是一样。微软可以把所有的广告的生态往bing的chatGPT引，微软的bing+openAI对话框，他们联合的生态我觉得结合得相当好，让用户能够在这两个里面去用，所有的商家都到这里面，未来所有的产值变现全部在这里面。而未来的Google可能就是以前的bing，成为有相当距离的No2。模型将像软件一样，你会做很多很好的模型，但可能没有用，因为它没有生态无法变现。就像现在做手机应用，要么在IOS，要么在安卓，或者两个都要有，才有办法在手机的生态变现。之前有了IOS跟安卓的时候，很多人尝试着做安卓的替代品都失败了，包括三星，NOKIA也失败了。最后都去接受安卓，安卓的优势是本身是开源的。Google的GMS不是开源的，所以未来的情况会是所有的人会去用openAI跟微软的API，然后去做很多很棒的应用。这些产品应用可能估值都会十亿百亿甚至千亿，就像oracle，sap，salesforc以前是基于IBM的大型系统以及微软的windows系统去做，他们的底层还是windows。现在的chatGPT就是未来的IOS操作系统或者windows操作系统，目前有很多很棒的模型。1、谷歌开源PaLMAPI的很多模型；2、Meta的LLaMA是“大型语言模型MetaAI”，它有650亿的参数1.4兆的这种训练的token；3、google的lamda模型，有1，370亿的参数，1，680亿的训练的token。4、Stanford刚刚开源的Alpaca，是基于脸书的LLaMA做出来的。还有google的T5模型，刚出来的时候对我们来讲这是超大型模型，现在来看T5是一个小模型，T5非常好用，T5他的参数只有110亿的参数，我们自己都可以跑起来，我们自己的GPU都可以跑了。国内还有清华的GLM模 型，是1300亿的参数。逐渐也把这些大模型全部都预训练，还有我们在上面做翻训跟方阵，也变成逐渐的一种模型，所以我们自己也具备很多这种大模型，可以去处理很多的任务。我们把这些模型加到我们原来的产品里面，原来产品就升级了，变成一个原来的产品已经具有应用价值跟应用经验的加上这些大模型，那么客户的接受度会更高，需求会更高，那么未来的世界就是这样的一个世界。国内厂商做法主要像竹间，拿开源的模型来做训练逐渐的一个模型。再用这个模型去放到我们的产品里面去商业化，未来的世界会是两个方式，一个是微软加openAI的一个闭源世界，一个是开源世界，会让所有的中国的创业公司受益最大。中国的创业公司只要用了预训练的模型，以及自己在findtune的模型，就可以跟大公司的大模型抗衡。大互联网公司，在中国未来可能不具备优势，因为没有任何大互联网公司有能够chatGPT或openAI这样子的闭源的系统，一模一样的能力，做不出来，所以大家都在一个公平起跑线上，每一个人都是拿开源的模型来调成我们可以用的模式。就好像安卓一样，所有的智能手机厂商都是用安卓开源的去做智能手机，未来中国的很多的这种语言市场，会是全链路的市场，能够把大模型，再去findtune，做成一个有细分领域的产品，才有办法去打通到企业跟个人的应用里面去，这种才有价值。所以很多投资人说他想投能够做技术模型跟openAI一样的公司，我觉得难。OpenAI的门槛相当高的东西，因为生态是很难，chatGPT是21年开始做，22年8月已经做好，用了7个月时间去预训练，现在还在反向工程做，整体落后3~4年以上。其实搭团队非常难，要找计算机领域语言很强的人，目前文心一言的团队市场已经开始高价挖。即便做出来了，也永远比别人落后。所以更可能把最前沿的这些大模型组合起来做一个产品，那么让所有广大的用户都能够用到这样能够提高的产值会更大，这是NLP跟chatGPT的未来的发展的趋势。我不是说不要做基础模型的开发，我是说不要去做一模一样的模型开发。目前市场大概有十几个大模型，是我们已经用起来可以解决客户问题的。我们包括谷歌的T5我们也在用，把这些组合起来是解决不同的问题。我们做成的知识平台给企业展示知识图谱的，我们用小模型可能以前要花假设要花五一个人5天的时间，用了大模型，我们可能半个人半天的时间就可以做好了，它可以起到4倍效率的提高。帮企业建立整个知识的工程跟知识的体系比以前快多了，成本也降低，量就会增加，质的增加会改变，量的增加。未来企业在接受NLP这样的产品的需求会大增。ChatGPT的出现是必然也是偶然。大家都说只有大公司能做大模型错完全错误，大公司其实是做不出来大模型的。目前做出来创新型的大模式，能够规模化的是小公司，微软的openAI原来就是一家小公司，他到19年拿mark的钱跟英伟达把计算资源之后，才这种能力去发展，但是他非常创新，openAI的chatGPT不是CEO的想法，也不是微软的想法，是里面的一个博士生研究出来的，他把transformer加上generative的方式，Google有一个很很流行很重要的模型叫双向机制。Berd有编码跟解码，层层的网络最后形成结果，chatGPT他不做编码，他直接解码，所以它参数量库很大，然后直接解码，但是它效果是不一样的，后来发现不用编码，直接解码它出来的效果原来有这么大的创造性的效果，但是需要的参数很大，需要的数据非常多，有编码有编码需要的数据少一点，在一个偶然的情况之下他做出来一个chatGPT的团队看到了，领导团队看到这个东西很可行，马上投入人力做gpt2.0，再投入人力做gpt3.0。Google里面员工其实很早就发现LLaMA很厉害，对话机器人对话具有人的意识，跟谷歌的工程师对话了21天，发现这个太厉害了，可以取代搜索引擎，马上就在谷歌内部就被毙掉了。因为出现的对话机器人基本上就是颠覆搜索的模式，颠覆了他广告的模式，成本也会很高，谷歌认为时间不到不敢推。预测未来所有的大公司他们都会用开源模型，包括最近我也听到QQ也在用midjourneytoAPI，API产生图，也不是腾讯自己做的图，未来QQ里面会文生图，所以未来的中国的大模型的发展会是开源模型的最大受益者。未来能跟openAI挑战的一定是先建生态再建基础模型的人，而不是先建模型再建生态的人。因为你生态已经被人家占据，你只有用另外一种方式去把生态园占据起来。类似华为模式，先占生态再做技术，先用别人的CPU，模组，操作系统，品牌打出来的，市场打出来的，那么再去开发自己的海思芯片，再去开发自己的鸿蒙系统。ChatGPT是把你的生产力释放出来，把你的创造力也能够释放出来。现在创造性的职业也被取代了，chatGPT还可以给你提灵感，可以帮你生成非常多高精的画图。现在AI建筑可以去帮你3D图画。生成视频的技术也会被颠覆，中国14亿的人口，白领3.5亿，7.5亿的劳动人口，我们提供一个具有chatGPT功能的产品，让它很快就可以使用到，以很低价的方式推给他们，无论是个人也好，企业也好，他都可以立即能够享用到，他不需要去翻墙，不需要去违法，他就可以去用得到这些产品。super APP可能会变。大公司面临这样的一个被颠覆的状态，谷歌就是现在处于一个状态，那么国内的搜索引擎可能也是这种状态，现在OPPO人员把他的插件开放出来的，微软的对应也接上这些插件之后，那么所有的电商，跟生活有关的服务，打车外卖这些电影票这些的，superAPP可能就会变了。这些以前的superAPP他们都剩下了什么？他们的物流还没有被取代掉，物流还有它的运营，还有他的人力的运营，还有他的生态很难被取代掉，但入口会被取代掉，也就是说未来的像美团滴滴他们可能都要接入这样的一个入口。旧技术被边缘化，只有有产品的公司受益的会更大，行业会发生洗牌。在国外会很迅速，可能是12个月的时间，在中国会慢一些，相对碎片化一些。