AI ChatGPT详解–20230215

230214AIChatGPT专家1.ChatGPT算力、研发、进展情况•初始是谷歌做的transformer。 ChatGPT一代就有40几亿个参数。 参数可以理解为深度学习的时候讲到的神经网络，一层有1000个节点，节点互联，是1兆个参数。 ChatGPT是1750亿个参数。 我们实验中做过的最大的模型是10亿个参数，所以大概是我们的175倍。 •Transformer核心就是用大量的语料进行训练，做出理解力很强的AI。语言理解力是我们长期攻克的难题。 中文是最难的，首先要做断句分词、根据上下文研究语法模型。 但从Transformer开始，不需要做断句分词，所有都从语料库来，实现理解。统一了所有语言的学习方法。 •OpenAI从1代到3代，模型不断放大，从43亿到1750亿。网络复杂度是几何级数的增加，我们估算是2-3次方之间。 •不能光看参数大小，参数很多，但是节点互联很简单也没有意义。算力投入一方面是规模，另一方面是迭代次数和时间。 •chatGPT此次是用了5000块A100，每块节点是8块A100全互联。美国对我们禁运的首先就是A100。 用NVlink进行互传。 如果不用NVlink的话只能用CPU，传输时间会变长。国内不会很快追上openAI的算力投入。 •截止到2021年底：因为新知识可能会产生矛盾，出现之后需要人为处理。知识还需要进行重新校验的，所以不能接入在线数据。 2.中国的ChatGPT有哪些瓶颈•从处理器的角度，我们有很多可以支持计算的处理器，例如海光、飞腾、寒武纪等。最大的问题是做不了高制成，只能做到28nm，28nm会导致芯片密度低，能耗更高。 导致NVIDIA一块卡我们要用2-3块。 •第二个问题是互联，有一些机器的互联可以，例如飞腾等，但是有产能问题。缺乏NVlink的互联设备，我们在做大语言模型的时候问题就很大。 •海光有不到3000块的A100。 •ChatGPT能够做到99.9几的理解能力，我们如果降低要求到97-98之间，阿里京东百度等自身的算力就可以在1-1.5年内做到这个水平。短时间追上openAI是很困难的。 微软的投入不光是钱，更多是云计算的基础设施，例如5000块的A100，按照市价，算力投入在3000万。但如果降低要求，现在相关领域做应用的话还是有机会的。 •瓶颈最主要的还是在数据交换上，如果互联不好的话，5000块卡和100块卡的效果是一样的。 3.商业应用价值•国外很快就会淘汰数据程序员，可能会淘汰一半，交一部分的工作给chatGPT。 •国内程序员供应量多，如果用chatGPT取代反而成本会更多。 但另一方面，国内有些行业，例如3D建模的人才，我们目前是缺乏的，3D建模本身门槛不高，但没有办法跟机器比速度。 CG图片、特效成本可能会迅速降低。另一个就是销售客服。 现在很多地方都是机器客服为主，国内做外贸的很多公司都需要英语销售客服，但他们跟外商的交流很不畅通，如果换成chatGPT，可以看到工厂的实时库存、帮助下订单。 ChatGPT计费标准来说，这样的替代也是很便宜的。 4.中美竞争•如果看大模型的话，中美的差距有可能会拉大。 AI模型、芯片产业链都需要投入。 •如果降低NLP的理解能力，不影响后续工作的话，也是一个方向。 5.数据分工•国内主要问题在于复制性的内容太多，国外相对而言能够找到一些权威的语料。这是中文和英语的最大差别。 权威就是可以告诉机器，从naturescience上面找到的文章，权威值就是99%，我们在万方知网上面能够找到的权威数据有限，这些论文发了中文也都会发英文，我们是比较吃亏的。 中文语料训练上没有问题，但是在知识质量上我们会低一些。 •微软数据标注团队质量很高，我们的劣势：有劣势但是不大。 人工标注的话不会具体到每一篇文章，只会是标注刊物、高引的文章等。例如知乎的高赞文章是不是高质量的需要人为来进行鉴定。 6.确权的问题•ChatGPT的创作思路跟我们所说的洗稿很像，据说openAI会给以后生成的文章里面打技术性水印。 •少数作者会启动防止被引用的开关，大部分作者不会启动。 •Newbing会生成来源。 •175G的参数需要1T的内存才可以运行，开源是不太可能的。 7.审核•现在是基于关键字和简单语义识别。 但如果变成80%的ChatGPT水平，发出违规文字的可能性就没有了。 8.公司竞争力•做类似chatGPT需要几个元素：1）语料。自有平台或者爬取网页。 微信有公众号朋友圈，百度是爬取，京东是产品和用户咨询评价，相对比较少。 360和腾讯有搜索引擎，应该还在爬取。 自有平台大一点就是知乎、腾讯、网络小说、门户网站等；2）算力。 一个是看自有平台的CPU和GPU，现在比较强的是阿里腾讯，都有GPU的云。地方的数据超算中心都有一定的算力资源；3）钱。 openAI拿到了很多投资。4）人。 •京东淘宝可能需要的是智能客服。 百度可能需要的是自动驾驶和AI的联动。腾讯可能就是游戏的开发。 9.搜索成本•谷歌的首次搜索的成本高，但是重复搜索的单次成本不高。谷歌主要成本是不断爬取数据的成本。 •如果放到搜索引擎上，直接的问题就是广告放在哪里。 •搜索引擎市占率低的公司可以通过chatGPT来抢市场，但是市占率高的公司如果运用的话会把最赚钱的广告业务挤掉。 10.AI方向•国内可能会在3D建模、网络小说方面发展。下游的游戏影视也会有变化。