云从战略展望电话会会议纪要—20230403

董事长周总发言： 我们研判下来，大模型对全行业都会有颠覆性的机会。主要是对入口和内容，都会有完全的颠覆，影响大于互联网和移动互联网。 l所谓入口就是交互方式，倾向于更轻松、更方便，取代原本的复杂方式。 Iphone的触屏突破了鼠标 键盘，把时间解锁了，到了大模型时期，后面进展的空间会很大。Chatgpt这种可以直接通过语言问答的方式进行交互，接下来会走向问答、伴随和托管三个方向。问答会发展到数字人和语音交互；伴随的方式，例如jjjl在看盘的时候是来不及问答的，应该是ai助理跟jjjl一起看盘，推送事件共同解决，医生手术等实时性的场景里，也是一样；托管的方式，最早的就是游戏挂机让外挂来跑，未来大规模看监控视频的事情就会由ai来做，或者由一个数字分身来网上看邮件或者聊天。 l第二个方面就是内容。内容是很重要的。互联网时代的内容，是干了这几件事：互联网最早只是把信 息汇集了起来，再后来让用户也来创造内容。不过，过去的内容主要还是2C的，对于更严肃的领域来说，是用不了的（因为内容专业性要求高）。到了AI时代，AI可以生成高质量内容，而且成本降低很多，还可以是实时的，信息量巨大。GPT4在很多专业考试已经可以达到很高的水平了。 中国的大模型最后不会收敛到一两家，可能会有十几家。可以类比的是云计算。中国和美国情况不同，因为中国私有化部署的需求是远大于美国的，美国公有云市场前三强市占率超过90%，而在中国云计算top10合计小于80%，因为中国这边有很强的自主可控的需求，需要自己的私有云。 其实对于大模型来说，它跟公有云还不完全一样。以前还是一个一次性的技术突破，引爆场景和产业，但大模型是一个不断递进的技术突破，是要替代人的，不同大模型就像不同性格的人一样，应用效果也是不一样的，不会统一到一两家。 现在很多场景是大模型让以前挖不出来的金矿可以挖出来了，等于说是一个挖掘机，大家现在去做挖掘机，是因为我们不可能去用美国的挖掘机。这几天三星已经有风险事件了，意大利也禁止了chatgpt的使用。 关于大模型的门槛和核心要素： l算力板块来讲，是一个入门门槛。算力本身没有那么不可攀登，但是必须达到一定的算力，一定要投 一二十个亿来做这件事。 l数据这块，分为三个等级：首先是通用的数据语料，解决人类的基础能力、知识与通识的问题，这部 分数据是有确定性的，这部分数据量是收敛的，人类基础能力可能就这么几项。这个量虽然大，但是个常量，有足够投入是可以做到的。二是行业大模型需要的专业领域知识，这个领域是有门槛的，而且数据量未必有这么大，如果不是行业资深玩家，一般达不到。最后是应用所需的数据，包含实时数据、用户个人使用的数据等，这部分并不是模型的一部分，而是应用的一部分，这部分有门槛但不是模型的一部分。 l算法是我们主要要解决的问题。算法核心技术其实是一个长链条的积累的问题，要从入口和内容两侧 来分析，入口角度来说AI要有能力解决物理世界数字化，要很好地感知物理世界发生的事情，对视 觉、语音等领域要有了解。输出侧要有执行能力，谷歌的PaLME里把视觉、NLP和机械控制放在同一个大模型里，才能完成机械臂的功能。光要解决这些，链条很长，难度也是很大的。在内容上同理， 要真正在产业里推起来，还有降本问题。这几个问题要做到闭环，对算法要求还是很高的，必须要对算法底层结构做调整。如果要在工业里做工业大模型，有数百个因素输入进来，并且不像LLM里是有时序的，我们必须从算法设计上解决这个问题，才能最终有效果。 其实我们虽然讲自己要做行业大模型，但本质上是必须要有基础大模型能力的，否则不具备长期竞争力的。 基础大模型这件事链条很长，分工很细，所以需要对人才团队要有长期布局，不是招两个三个牛人就能解决的。openAI有七个团队，很多个小组，来做这件事，因此做这件事需要的组织架构能力也是重要的。英伟达最早创业的时候，相对英特尔更小，但是更有凝聚力，所以最终做得比intel好。 行业大模型本身，行业部分也需要泛化能力，并不是一个简单收集了数据就可以解决的，也是一个算法问题。 行业大模型出来之后，纵深往下做的时候，还需要建立产品平台。比如微软的copilot，就是一个简单的产品平台，一头拉动应用app，一头拉动大模型，不过目前还是一种很简单的拉动，因为现在拉动的全都是他们自己的应用。但未来行业里去做的话，不可能全是这种情况，并且还存在跟物理世界如何联动的问题。 云从的布局： 1.要深耕大模型这件事，我们有算力能力，我们也有行业数据方面的积累，算法这块依赖于人才与自 身的能力。 2.行业这块，是要尽快去做行业大数据闭环，和一些头部玩家合作，完成数据反馈方面的闭环。 3.基于大模型平台化，原来ai体验不够好、能力不够强、定制化比较多的事情都会改善。我们可以基于ai能力的突破做一些2C的孵化。 【提问环节】 Q：如何认知谷歌PALME、huggingface、Ahthropic等大小公司跟openAI之间的技术差距？以及国内外的技术差距？ A：目前国内跟openAI的差距大约是2年的水平，谷歌差距会小一些。但这件事不能这么简单来说。技术的发展其实不是线性的，目前进入了一个爆发期，多少时间到平台期不确定，但未来两年都是爆发期。 技术不断爆发的情况下，不同公司可以选择不同切入点来切入，PALME在联动物理世界上是有一定优势的，大家可以有不同的爆点，不是说OpenAI在所有地方都是绝对领先的。AI技术爆发带动产业爆发的节奏，也和3G、4G这种不一样，因为以前是一次性的爆发，但现在是技术本身自己也在不断爆发，迭代进步。这种情况下，市场空间会比单一爆发点大很多，是一个巨大的金矿，现在即便openAI有最 好的挖掘机，并不妨碍大家一起都上了一个新的台阶。国内进步速度肯定也会很快，追赶上openAI现在的水平是有可能的，但是openAI自己也在进步，是 一个你追我赶的情况。 Q：传统在CV界，之前做GPT相关技术都比较少，当时觉得GPT是挖不出金字的。但是22年之后，在很短时间内产生了很多新的多模态技术，云从在人才、技术等方面做了哪些准备？围绕这块有没有什么比较独特的地方？A：我们其实比较早就开始做预训练模型的，云从在这个链条上是一直有储备的。如果现在这个时间点上从头开始搞，还是挺难的。我们的思路是，如果要把行业真正做穿，就需要打通执行侧，来打通物理世界。另外，我们本来就深耕行业，在行业数据方面还是有优势的。 Q：如果要做行业垂直模型，是先预训练再微调，还是一步到位地做？A：其实这两种没有本质区别，如果想要一步到位，也是需要有基础大模型能力的。要走通这个路，通用的数据和通用能力不可或缺。如果没有底层大模型，只调用api、或者用别人的模型做FT，短期走得通，但长期走下去有问题：如果底层模型结构有问题需要改，是改不了的。第二，无法降本。 Q：是否可能有小模型表现会比大模型好？A：目前学界还没有完全有定论。不过一般认为，模型太小，在某些应用上可能可以有比较好的效果，但在更通用的范围内是一定会有损失的。实际上达到效果和成本的平衡，不一定用单一模型，很可能是一个混合的服务，用一系列模型完成这件事。类比人脑来看，人脸识别其实在人脑里有一块特定领域做这件事的，不一定放在大模型里。大模型本身是有精度问题的，而有些任务数据压缩超过一定程度后会损失精度，有些任务就无法完成了（比如人脸识别） Q：OpenAI是通过什么方式来做降本的呢？A：肯定首先要做蒸馏的。更深入做到行业里去的时候，可以做得更深。 Q：如果技术进入平台期，厂商之间拉不开技术差距，此时大模型厂商之间的竞争会取决于什么因素呢？A：首先技术不会快速到平台期，其次如果到了那个阶段，一定是一个综合能力的竞争。平台上形成数据闭环后，是很有价值的。 Q：在视觉CV领域，要怎样出现涌现能力，从而变成通用模型呢？A：核心困难是视觉领域特征的抽象表征，没有文字那么精确。用多少token、用哪个token比较好，这个问题没有解决，导致表征效果不好，导致需要的计算量可能要比NLP高几个数量级。视觉的未来可能也不是完全由大模型解决。不过，过去定制化的成本太高来了，但大模型可以使得模型逐渐减少定制化，明年后年可能就能看到这种变化。并且视觉问题不是纯视觉问题，可能跟语义、常识来打通的。 Q：传统上海康大华这样的公司工程能力很强，我们如何竞争？A：核心还是过去技术奇点没到，所以以前只能这样做。但现在入口和内容都颠覆了，需求本身也都会变，思路就完全不一样了，不一定会按过去的方式竞争。 Q：怎么看华为盘古大模型？A：华为也是我们非常好的合作伙伴，我们也不是说自己要吃独食的意思。很多东西是大家可以共存的。现在商业逻辑确实变化很快，冲击的倒不是华为这种公司，而是很多传统理念的公司。 Q：云从目前大模型做到什么程度，技术路径上是如何选择的？如何追上openAI？ A：openAI这些先进的东西肯定是要学习的，他们的技术链条上的东西我们也有准备的，在国内也是一流水平。当然，openAI也在快速进步，今天就能赶上openAI这不能这么说。不过，我们做出来之后，可以通过行业闭环快速跑马圈地，自己能做的做起来。第二，openAI现在做的还是偏微软的方向，不过对国内来说，我们有很多其他可以发掘的领域，数据结构等方面都是不一样的，因此是有优势的，这方面不用非要跟openAI比较。