AI芯片专家大模型对算力–20230401

核心要点： 1.大模型对算力的需求主要体现在训练端：在考虑互联损失的情况下，Chatgpt需要一万张A100作为算力基础，算力的硬件投资规模达到10亿人民币 2.国内大模型与国外的主要差距是算力层面，没有算力基础，后面算法等发展都无法进行 3.大模型应用场景会率先爆发于：工具链层面，如ChatGPT和Office产品结合，提高交互和工作效率；语音交互层面，如智能音箱、智能座舱和智能家居等 4.国内AI芯片厂商格局：一梯队，有成熟产品、批量出货的企业，包括寒武纪、华为海思、百度昆仑芯、燧原科技等；二梯队，以AI芯片起家的壁仞科技、天数智心、摩尔线程、沐曦等；三梯队，如海光、景嘉微等 5.国内AI芯片与A100的差距：已经批量生产的产品，大多都是A100的上一代；各公司正在研发的相关产品，如昆仑芯三代、思远590、燧思3.0 等，都是对标A100，但由于“实体清单”的限制以及研发水平的原因，都还没有推到市场 6.寒武纪思元590与英伟达的差距：寒武纪主要还是ASIC架构，劣势是通用性会比较差，优势是某些特定应用场景下，算力可以做到比GPU更高；百度内部的测试结果，590性能接近A10090%的性能；590基本支持主流的模型，综合性能接近A10080%的水平 7.英伟达A800和H800的出货量预期：训练芯片，国内将有近200亿RMB的采购规模；推理芯片，预计采购金额达100亿RMB；国内对英伟达总的采购需求约为300亿RMB Q：大模型在算力端带来了哪些新的需求？ 算力需求主要分为两部分，包括训练算力和推理算力。目前来说对训练算力需求非常高，ChatGPT的公开数据显示它的整个训练算力消耗非常 大，达到了3640PF-days(即假如每秒计算一千万亿次，需要计算3640天)，换算成英伟达A100芯片，它单卡算力相当于0.6P的算力，理想情况下总共需要大概6000张，在考虑互联损失的情况下，需要一万张A100作为算力基础。在A100芯片10万人民币/张的情况下，算力的硬件投资规模达到10亿人民币。 而整个的数据中心还需要推理算力以及服务器等，规模应该在100亿人民币以上。 Q：大模型对计算的需求和以往有什么差别？具体包括在算力，互联等方面 以往大多都是数据中心，超算中心以及各大互联网公司的云计算中心会有相关的算力基础设施需求。 训练端：训练算力相关设备主要是英伟达的A100和H100，推理算力主要是英伟达T4卡。ChatGPT的发布使得算力需求增加了，以前算力的商业应用并没有特别多，主要是推理端像图像识别、语音识别等。大模型的爆发会导致训练的应用场景越来越多，对训练算力的需求会大幅增长，增长幅度能达到10倍甚至100倍。 推理端：也会有相应的增长，但幅度不会这么大。 Q：做好一个大模型的最低门槛就是1万块A100的芯片，这个说法准确吗？如果对标的模型是ChatGPT，那是需要这样的硬件需求的。 但百度文心一言没有达到这个芯片规模，训练算力没有达到ChatGPT的水平，尤其是在上下文互动和逻辑上有较大缺陷。 主要问题是文心一言的训练精度不够，这是因为它算力本身的限制。国内目前大模型主要是算力层面和国外差距比较大，这也是制约国内大模型发展的客观因素，没有算力基础，后面算法等发展都无法进行。 Q：互联网大厂囤芯片以防断供的具体情况？ 2022年美国限制英伟达和AMD向国内出售高性能计算芯片，国内互联网大厂意识到风险，去找英伟达购买。但因为从下单到拿货的周期较长，国内互联网厂商的优先级较低，国内互联网大厂买到的A100以及H100芯片数量是比较有限的。 Q：中国特供版A800和H800与A100和H100的具体差距？ 主要差距是互联带宽的下降。A800的互联带宽从A100的600GB/S下降到400GB/S，H800的互联带宽从H100的900GB/S下降到450GB/S。本身单卡的算力不变，但是集群后，卡间互联的带宽会限制整个集群的算力规模。 Q：国内目前GPU芯片能不能支撑大模型的需求？国内目前的相关产品都和A100有所差距。 一部分是已经批量生产的产品，大多都是A100的上一代，比如寒武纪的思元290、百度的昆仑芯二代、燧原科技的燧思2.0的算力水平都落后于 A100一代。 还有各公司正在研发的相关产品，比如昆仑芯三代、思远590、燧思3.0等，这些产品都是对标A100，但由于“实体清单”的限制以及研发水平的原因，这些产品都还没有推到市场。华为的昇腾910芯片，也是受限于公司被制裁，没有大规模的出货以及销售，可能在政府的计算中心有所使用，但对商用客户端帮助有限。 Q：哪些芯片相关企业会受益于大模型的浪潮？ 首先是算力芯片，包括英伟达的A100和H100，以及寒武纪、昆仑芯、燧原、华为海思、海光、沐曦以及摩尔线程。如果国内的产品能去替代英伟达的产品，会是一个非常大的机会。 经历制裁后，国内的大型互联网企业在采购相关芯片时，目前还是会购买英伟达，但应该也会有相关的国产化替代方案。从生产层面看，还需要高带宽内存颗粒，目前国内的合肥长鑫和长江存储都还做不了，主要是国外的三星、美光和海力士三家企业。产业链上，会带动先进封装相关公司， 未来国内芯片厂商会在国内的封装厂做先进封装。 除了算力芯片，数据中心建设也需要CPU服务器，会带动国内提供大型服务器的厂商，比如浪潮信息、中科曙光等，以及光模块、调节芯片和散热技术，都会有相关需求。 Q：计算芯片中除了GPU芯片，FPGA芯片、专用芯片ASIC发挥什么作用？ 高性能计算芯片不止GPU这个处理架构，比如像寒武纪的ASIC和GPU是同样的应用场景，只是技术架构不一样。比如百度的昆仑芯一代，是XPU-K（自研）的架构。因此算力芯片，不光只有GPU，也包含ASIC、FPGA芯片。 Q：在美国制裁的背景下，国内厂商怎么去替代英伟达的A100，通过什么途径？ 目前尤其是在制程工艺的限制，美国2022年10月份的政策限制是互联带宽超过600G，算力超过600T的产品不能使用台积电的先进代工工艺。国内的产品不能超过A100的规格，否则不能使用7nm或者5nm的生产工艺。 目前国内有7nm产品的只有中芯国际，从成熟度和产品产能上都和台积电有差距。但即使有差距，国内的公司也会陆续通过中芯国际的生产工艺去生产相关的芯片。虽然目前工艺限制在7nm，但我们可以通过chiplet等先进的封装工艺将多个7nm芯片高速互联，实现算力的提升。 Q：目前已经在实体清单的芯片公司的情况？ 目前华为、寒武纪、海光已在“实体清单”里面，这些公司如果要生产的话，要不就得找中芯国际；要不就得通过类似代理形式或其他渠道找台积电生产。 但后一种方法要面临台积电的审查，但台积电目前整个产线的产能利用率很低，只有约50%，应该不会像之前管的那么严，如果提交的合规报告或材料符合台积电的要求，比如600+600的审核要求，终端应用场景也不涉及如军工等敏感领域的话，台积电也是能够通过代理方式给这些公司生产的。 我估计目前海光、寒武纪可能都是通过这种途径去实现生产的；华为因为本身目标太大，如果量不大的话应该可以，量特别大的话容易被发现。 Q：目前英伟达订单量是否有比较大的变化？变化大概多大？ ChatGPT发布后，首先微软方面肯定是加买了A100和H100，尤其是微软现在主要购买方向是向H100升级，主要买的是H100。 国内公司受限于制裁，应该是不能买A100的，A800推出后国内公司应该给了英伟达不少订单。但A800因为还要做一些带宽的限制和更改，所以目前还没有批量出到国内，仍需一定时间，但我预计应该很快就会陆续供给国内。 我认为今年英伟达的数据中心业务应该会有一个比较大的增长。因为这些企业都会有一些战略性的备货，如果按照正常节奏买的话，应该不会买这么多。对于ChatGPT带起的热潮，国内企业可能担心以后会买不到，因此会按2-3倍的量去备货。 Q：如何看待英伟达超级计算服务对AI产业的影响？我们业内觉得这个东西没有什么特别的地方。 国内真正能够做大模型或者有实力去投资大模型的大型互联网厂商，他们不会去租英伟达的超级计算服务，因为没有人愿意把自己的数据放在别人的数据中心里，从数据安全的角度讲，是一个非常大的风险。尤其是像百度、阿里，他们掌握着国内用户一些比较比较敏感的数据，如搜索、购物习惯等。这个比较类似于滴滴，如果这些公司把这些数据弄到英伟达的服务器上去跑的话，这个风险我认为他们应该承担不了，滴滴被罚已有先例。 所以我认为从国内来讲，英伟达提供的计算服务，国内客户应该没有什么会去用的，可能一些本身不涉及敏感数据的客户可能会去尝试，但能做 ChatGPT或文心一言这种规模的企业很少会用英伟达的租赁服务或超级计算服务。 国外客户可能会受益，因为一些小规模的客户没有能力建ChatGPT规模的算力中心，他们可以通过租赁方式使用英伟达的超算中心作为自己模型的基础设施设施去实现自己模型的运行。 Q：之前有说法说英伟达超级计算服务可通过阿里云、腾讯云做接口提供给国内企业用户，这是否意味着国内承担不起大算力成本的的中小企业会考虑租用英伟达的超级计算服务？ 如果能把数据安全层面的问题解决，至少从数据安全的角度讲，如果国家层面的审核通过，国内也想做大模型的小型企业通过租云服务平台去推动自己的模型。 Q：英伟达的光刻计算技术未来会减少多少对于CPU服务器的需求？ 英伟达的主要目的不是想替代，发布时提出的目标是要把台积电4万台做光刻用的CPU全换成英伟达的超级光刻计算机。我认为GPU是取代不了CPU的，因为本身两者的运行是不一样的，光刻领域很多是运算的东西，可能GPU有自己的优势。但CPU本身也有控制、调度、流水线的进程操作，能用这么多年有它自己的应用场景和优势。 GPU其实擅长计算，并不擅长去做控制、调度的事情。英伟达在GPU里做类似于ARM的CPU去替代，但我认为在应用场景等各方面没那么容易。比如现在企业服务器市场，英特尔和AMD份额稳定，英伟达想要踏足还是有很大的难度，也有一些技术障碍。可能台积电这种特定场景可以替代，但未来想把CPU整个层面上用GPU替代没有那么简单。 Q：目前英伟达和国内供应商的关系如何？比如做整机的供应商，浪潮集团也被加入限制名单 他们不受限制。因为中国政府层面对这些外企目前还没有任何的限制政策，英伟达在国内份额和产业情况应该也带动了不少的先进制造和就业。我认为英伟达跟国内做整机的和架构的供应商，目前都合作都正常，而且英伟达后续应该还有更多订单给到这些供应商。只是做好的高性能计算芯片受限制，不卖给或者降规格卖给国内企业。这些限制主要还是来自于美国政府层面，供应层面应该没有问题。 一旦上了实体清单就没办法。因为不管是英伟达还是任何的美国企业都不能跟你做生意。如果他跟你有贸易来往，美国政府就可以对他进行制裁。这个限制范围很大，任何使用美国技术的企业都不能跟你有贸易来往，比如现在不仅英伟达不能跟浪潮之间有贸易来往，甚至像韩国、台湾的企业都受约束。 Q：国内来看，您认为哪些领域大模型会率先爆发应用场景？对算力产业链有什么影响？目前很多公司宣布接入文心一言，ChatGPT在国内国外的应用场景也都陆续在落地。 1）工具链层面：大模型可以做很多事情，比如ChatGPT和Office产品的结合，以前很多东西需要人去写公式、计算，但是现在ChatGPT接入后Office会变得非常灵活，通过office做交互、实现的话，工作效率会有一个非常大幅的提高。2）语音交互层面：智能交互，如智能音箱、智能座舱，未来肯定会有一个大的提升，现在汽车里用的小度等，其实语言理解能力是很差的，想要交互是很难的，而且体验也非常差；大模型接入后，语音交互层面会做得很好，比如我们在汽车智能座舱里发一个指令，他的理解、执行他就会非常精确。包括我们用的智能音箱、智能家居等，理解、执行也会比较到位。 Q：目前国内AI芯片厂商的格局？ 个人看法，以大算力或者高