大模型与向量数据库专家交流纪要–20231116

大模型与向量数据库专家交流纪要 专家背景介绍：AI目前看主要是公共大模型、企业大模型和个人端侧模型，公共大模型类似于OPENAI等巨头参与，企业大模型就是我们经常说的行业垂类模型，用于行业特定需求，大模型有一定定制化特征；个人端侧模型就是我们最近谈到的AI-PC或者AI手机，是个人Agent，最近Intel、高通芯片厂商，以及DELL、联想、小米OPPP等都会有相关动作，明年上半年会看到AI-PC、和手机的商业化。 Q：向量数据库目前商业化，市场空间怎么看？ 你们说的大模型和向量数据库的结合，主要体现在提升推理效率，他类似于人脑、存储相关数据知识，解决短期失忆的问题；目前看无论公共的云端模型、企业垂类模型，甚至端侧的个人AGENT都需要向量数据库的支持，只是技术的侧重点不一样，公共模型主要侧重于查询效率、端侧模型主要是性能功耗比。 A：国外向量数据库已经很火，国内刚刚配合大模型商业化推广逐步起来，目前看主要是开源以及商业套件两类；公共大模型主要是自己做，商业化套件，目前看主要是星环科技做的比较好，听说已经和微软做POC测试；未来微软模型国内企业端落地，星环能够提供，他们是针对上面说的企业端（垂类）模型。 大模型与向量数据库专家交流纪要 专家背景介绍：AI目前看主要是公共大模型、企业大模型和个人端侧模型，公共大模型类似于OPENAI等巨头参与，企业大模型就是我们经常说的行业垂类模型，用于行业特定需求，大模型有一定定制化特征；个人端侧模型就是我们最近谈到的AI-PC或者AI手机，是个人Agent，最近Intel、高通芯片厂商，以及DELL、联想、小米OPPP等都会有相关动作，明年上半年会看到AI-PC、和手机的商业化。 Q：向量数据库目前商业化，市场空间怎么看？ 你们说的大模型和向量数据库的结合，主要体现在提升推理效率，他类似于人脑、存储相关数据知识，解决短期失忆的问题；目前看无论公共的云端模型、企业垂类模型，甚至端侧的个人AGENT都需要向量数据库的支持，只是技术的侧重点不一样，公共模型主要侧重于查询效率、端侧模型主要是性能功耗比。 A：国外向量数据库已经很火，国内刚刚配合大模型商业化推广逐步起来，目前看主要是开源以及商业套件两类；公共大模型主要是自己做，商业化套件，目前看主要是星环科技做的比较好，听说已经和微软做POC测试；未来微软模型国内企业端落地，星环能够提供，他们是针对上面说的企业端（垂类）模型。市场空间方面，据了解已经给不少金融客户POC，价格大概一个节点20万，一般证券公司10-20个节点；通常300-400万/中等公司，未来随着企业端AI应用的深入，存在扩容情况。Q：云端自己做，那么企业端市场空间，怎么看星环？ Q：公共大模型星环做么？ A：星环他们和微软已经做了POC测试，据说12月份应该能通过，后面企业端大模型微软应该份额比较大，目前企业端经过备案，是可以用的。因为向量数据库涉及到企业数据比较敏感，会选国内的厂商，星环有很大优势。具体市场空间，一个企业300-400万，未来不亚于传统数据库的投入，市场空间500亿计算，商业套件占比40%-50%，星环市占率30%的话，应该在50亿以上的可以触达的营收空间。 A：目前看云端公共大模型，都是大模型公司基于开源自己来做，星环不涉及；星环前几天和Intel合作，也是基于企业端模型来做，在服务器 CPU上为向量数据库优化计算效率。后面会切入个人端侧模型，因为Intel在AI-PC上面战略重点也正在和星环谈合作。 Q：您说的AI-PC端侧模型，Intel正在和星环谈？ Q：企业端的商业模式比较清晰，端侧大模型怎么看？ A：是的，星环公司董事长就是技术出身，也是Intel研究院出来的，和Intel合作一直很紧密，前几天已经落地了数据中心层面的合作。PC市场一直是WINTEL体系架构的，星环和Intel和微软之前都有合作，目前在研发PC端的向量数据库，做系统优化。 A：端侧主要是操作系统厂商、或者大模型厂商做优化，并且需要针对芯片做调优适配。目前星环的向量数据库是，基于容器把版本缩小。未来端侧对于向量数据库的要求更高，刚性需求更强，因为算力不充裕、向量数据库能够解决数据记忆问题，提升推理效率。 Q：商业模式方面？ A：目前在开发和谈判，一般而言是授权方面，可能类似于海外黑莓很多中间件的授权，一台电脑或者手机大概几十块，十几块钱都有可能，一般都是这么谈。