百度文心千帆应用场景解读–20230405

Q1、自从文新千帆这边开始征集需求，获得了非常多的反馈。按照应用场景分类，哪些场景反馈上来的需求比较多？ 百度文新千帆发布会之后有非常多的行业的客户和企业的客户都申请测试，包括各种各样的B端，大数据或者中小微企业。目前从需求的广度上来看的话，已经有接近15万家的行业客户在申请这个接入或者是测试。 和百度接洽比较快的应用行业，往往是在大模型出来之前已经有应用AI技术的。比如说像金融的银行、证券保险，能源电力、融媒体、广电数字媒体等。 场景则主要包括通用的企业服务应用领域或者是业务场景，包括客服、对话问答、办公软件数字人等，特点是服务节奏会更快，业务更轻量化。 Q2、这么多的需求，那么内部对这些需求的响应优先级，区分的标准是什么？ 目前更多是对需求有不同的分层，中间层产品需求优先考虑满足。包括像大模型的API、使用套件、大模型精调、压缩部署和托管，还有大模型相关数据管理服务等中间层产品，就按照产品或者是业务线条的方式优先处理中间层产品需求。另外就是上层应用层，需求会更分散，除了大模型本身的裸模型或者裸工具链上的需求之外，还有分散的商品业务应用。属于交钥匙工程的，涉及到后续交付的线性人力成本、可复制和规模化的考量，优先级靠后。 Q3、是否还有其他对需求分类的角度？ 粗颗粒度分为中间层和上层应用两类，更细颗粒度细分到行业或业务上，行业内的比如说业务层以内的可复用度或者是可规模化的程度。例如基于大模型驱动的对话模块、问答模块，既可以满足对内的百度搜索，也可以满足对外各种企业级搜索所涉及到的对话或者是问答系统，产品的标准化程度是非常高，适用性非常强，优先响应。与之相反的，有行业门槛，或者交叉学科的会低优先级。例如农业大模型，育种小麦和水稻的基因测序，其实也会有比较高的商业空间，但可复用性和赛道相对来说窄，会更加慎重。 Q4、银行行业应用方向上，具体应用场景是什么，有哪些客户推进的比较快？ 国有行或者股份行一直在探索AI的应用，处在排头兵位置。大模型技术本身两个最主要的特点，1、有非常强的语义理解和对话理解的能力，2、语义的生成能力非常强。结合大模型在理解和生成这两个方向的优势，在风险管理上提升经营效率，在获客上通过大模型去专门匹配用户诉求，在信用风险管理上融合已有的知识图谱和数据用于风险评估和数据洞察。大模型可以自主生成很多文本数据或者是图像数据，去带虚拟理财助手或者保险经纪人。 Q5、对银行本身来讲，是节约成本还是创收？应该不会直接to，c端去收费。更多是节约成本。 Q6、银行这个方向上会有哪些家推的和咱们合作推的比较快？ 浦发、光大、邮储，还有民生这几家相对来说比较快一点，其他也有很多，也有非常多，现在都在稳步的推进。 Q7、银行和百度直接合作吗？是否需要银行it软件公司会参与在中间？ 银行市场的具体客户很多，有国有行，也有总行科技部，还有地方银行。大型银行和百度直接合作比较多，但不排除在区域行、或者中小行，才需要借助渠道力量，或者可以理解为集成商。 Q8、第二大应用行业是证券，那是证券公司还是来自金融软件的需求？ 目前来看还是金融软件需求更多。现在相对来说比较快的是同花顺、大智慧，像其他的雪球、东财这些也在接洽中了。 Q9、金融软件结合大模型，每一家的功能和用户定位是否有差异？具体的应用场景和商业模式？ 证券软件的应用场景和银行在基础上有部分共通，包括问答业务、图谱业务，数据的这些格式或者类型不一样。但是在业务前端和客户的交互上是比较类似的体验。特色应用包括股票预测，信用评估，风险管理，有很强的时效性要求。时效性的问题，大模型其实有很大优势，原有技术是基于规则的需要大量人工操作。 Q10、同花顺问财，会直接接入百度大模型吗？ 问财知名度很高，有非常成熟的业务系统和非常成熟的数据或者知识沉淀。问财业务场景的策略是相对更难的。之前它整体架构策略相对保守，里面有大量基于人工的规则系统，因为积累了很多年，才能够达到目前相对好的体验。但是里面很多长尾的问题需要大量人工解决，另一方面每天有新的知识不断输入迭代，全靠手工规则处理，是越来越臃肿的。而基于大模型去做做问答或者做理解，有非常好的表现，显著提升效率，另外对于新的数据和知识迭代，它的训练也会更轻量化。 Q11、像大智慧这一类没有问财功能的软件，结合大模型之后是去改进现有功能，还是也会推出类似问财的AI功能？ 对于行业追赶者来说，大模型能够更快的帮他们做底层的知识和数据的构建，去缩短这些原有的差距。例如在传统的基于知识图谱去建立一个健全的系统，所需要的数据的量，人力时间非常可观，而基于大模型有很好的通用模型基础之后，往往只需要轻量的、少量的行业数据，就能快速帮你构建初始效果还不错的基础能力。例如，原来第一名的优势有3年5年，用大模型去追赶后变成只有1年2年。 Q12、金融软件用了大模型之后的商业模式？ 目前看有比较高的倾向性和可能性，向C端消费者涨价收费。后续可能会推出会员付费服务和业务，比如选股和智能投顾等业务场景上推出plus版、PRO版，提供更高阶精更精准的问答。 Q13、所有这些需求肯定还是要跑在硬件上，就是对于硬件端的要求有没有变化？ 取决于如何使用大模型的产品。做训练还是需要专业AI服务器，需要大量专业GPU，以英伟达的A100、H100、A800为主。后续像大智慧或同花顺，基于自有的大模型的定制，去做规模化的用户的使用，这是属于推理环节，对高端芯片需求不大，主要是对于推理芯片需求高，例如英伟达t4或百度昆仑等，是随着用户规模递增而逐渐扩张的。 Q14、目前是训练对算力占用大，还是推理对算力占用更大？ 目前肯定是训练消耗大。但是未来，如果到了年底，国内大模型用户到达20亿人次，无论是搜索推荐或者各种APP上，各种政务平台，生活各个角落上都有大模型，那么用于服务的推理的消耗会更大，甚至和训练都不是一个量级的，最终只是少数的大科技公司去具备这样的技术大模型的能力。 Q15、边缘算力有意义吗？ 现在包括PC和音箱，主要还是通过云去调用接口的形式使用大模型，如果是想要去做离线的边缘侧直接部署到所谓的边缘算力主板或者算力卡上，对于它的推理的硬件性能的要求，还是要有基本的性能要求的。至少是一张英伟达的3090或者是t4卡的概念，是要有相应的GPU算力去提供支撑的，还没有微小到像音箱这种很轻量化硬件。 Q16、垂直程度比较深，但是数据量很大，数据相对封闭的行业，比如说医疗这样的行业，他们对于大模型的需求是怎样的？ 对于类似这样的我们称之为交叉学科，包括像医疗、制药或者是生科。医疗其实之前和AI的结合程度也非常紧密，包括病人识别、图像建模、基于LP去处理医疗文档、票据。现在看来医疗它很大的和大模型去结合的方向，但医疗行业的人其实并不能够直观的感受到其国内大模型能力的潜力。而大模型的科研人员，对于医疗的业务场景的理解又不深入，所以现在对于交叉学科还是在充分的讨论过程中，能做的主要还是原有业务升级和优化。在这个过程中我们会逐渐走向深水区，例如AI问诊。 诊疗业务场景，国外基于GTP已经有很好的案例，输入prompt包括病情病历、病诊单，输入给到大模型之后，它能够做各种潜在的病情诊疗和判断，未来可能彻底改变现在分诊室看病的习惯，但是现在这些都还在探索阶段。 Q17、工具类的企业，比如说低代码开发平台，像AI和低代码，其实他们本质上其实都是对研发起到降本的这样的作用？ 对于所谓的零代码或者低代码，基于自然语言去驱动大模型的使用，这一类的工具类的企业服务或者是产品服务，我相信会越来越受欢迎，或者说它会越来越前置性的走到终端业务前面。之前比如说讨论到低代码工具或者服务，它更多的还是在pass层的产品，它可能还是需要所面对的还是专业的开发者或者是开发企业去做开发工艺工具的效率工程或者是效率服务的。现在我们看到趋势，所谓的零代码和低代码它会越来越往终端或者是往往应用企业或者是往个人终端用户上去去靠拢。 Q18、证券软件接入大模型之后，除了智能投顾之外，还有什么潜在的具体场景？ C端主要还是智能投顾，对于b端，它的数字人和客服的场景，包括incall的这些业务场景。此外就是从底层构建金融数据库，或者是证券数据库，或者是证券的知识图谱的信息抽取的场景，用于做研报分析或者咨询分析上，我认为也有比较好的应用的前景。