AI服务器行业近况更新–20231008

一、综述 今年第一季度全球AI服务器市场的快速发展以及明年H100训练卡和A100的趋势。根据对话片段的预测，明年训练卡的出货量将大幅上涨，A100将快速下降，而且将有更多的竞争 对手加入到自研推理卡市场。另外，预计到2025年，推理卡的出货量将达到550到580万张，同时推理服务器的单价预计将逐步上涨。 一、综述 今年第一季度全球AI服务器市场的快速发展以及明年H100训练卡和A100的趋势。根据对话片段的预测，明年训练卡的出货量将大幅上涨，A100将快速下降，而且将有更多的竞争 对手加入到自研推理卡市场。另外，预计到2025年，推理卡的出货量将达到550到580万张，同时推理服务器的单价预计将逐步上涨。英伟达的主要客户分为云计算公司和非云厂商，其中将近60%的出货量销售给了云计算公司，40%的出货量销售给了非云厂商。根据收集的数据，预计明年L40推理卡会替代AHAAA10推理卡，从投入产出比来看，这种替代更为合适。对于英伟达的资本开支，目前难以评估，但客户认为这些投资是值得的。需要密切关注 供应链和市场变化。二、详细介绍 1.2021年AI服务器市场回顾及展望 今年第一季度全球AI服务器市场快速发展，受益于OpenAI和英伟达的推动。英伟达的H100训练卡供应逐渐充足，市场预计将近210到220万张。然而，北美市场的训练服务器采购量在第四季度略有放缓，可能由于之前供应紧张导致的砍单情况。整体而言，2021年市场对于训练 服务器的需求持续增长。 2.明年训练服务器市场展望 根据对话片段预测，明年H100训练卡的出货量将大幅上涨，A100将快速下降。预计明年第四代平台的渗透率将达到70%到80%。从2024 年第四季度开始，随着数据模型训练完毕，推理卡的数量也将大幅提升。在国内，由于禁止A100和A100销售，A800和H800成为替代产品。 3.英伟达训练卡供应情况及市场预测 今年国内英伟达A800训练卡供应紧张，数量有限。六月份美国政策限制了A800的销售。七月份以后，英伟达不再供应新的A800卡，而是转向供应H800卡。下半年H800卡供应量约为三四万张。明年云厂商对H800的需求量预计在40到50万张。然而，英伟达的供应节奏仍 然限制了国内训练卡的发展。整体市场趋势有待观察。 4.英伟达在GPU市场的垄断地位及竞争对手的自研芯片 英伟达在GPU市场上占据着绝对垄断地位，其训练卡A100和H100在市场上占据90%到95%的份额。虽然有其他竞争对手推出了自己的自研卡，如TPU和国产芯片，但这些卡的工艺难度较低，市场占比只有70%左右。随着时间的推移，越来越多的厂商加入到自研推理卡阵列， 希望能够替代英伟达的推力卡。特斯拉和国内厂商如华为、寒武纪等也推出了自己的推理卡。这 些竞争对手的加入旨在加速技术提升并降低英伟达的垄断地位和价格成本。5.明年四季度模型训练需求增速放缓根据对话片段分析，明年四季度左右，云公司和算力公司预计完成数学模型的训练，并开始商业 化推给前端用户。预计采购量会在明年第三季度末结束，并在第四季度开始逐步上升。 6.FPGA在推理侧的市场前景及未来发展 本文讨论了FPGA在推理侧的应用场景和市场前景。主要针对自动驾驶等对实验要求高的领域，FPGA方案有一些应用空间。然而，目前对于时延要求较低的个人助理和对话式AI等应用领域，FPGA的使用较少。预测随着AI服务器的发展逐渐放缓，未来边缘端服务器的兴起将带动IPJ 芯片的发展。 7.推理卡市场预测和单价趋势 根据对话片段，预计在未来几年，推理卡的出货量将逐步增加，但训练卡的出货量会更高。到 2025年，推理卡的出货量预计将达到550到580万张。同时，推理服务器的单价预计将逐步上涨，L40推理卡预计将取代A10推理卡，并且价格约为4500到5000美元张。这些预测基于AI服务器的发展和算力提升。 8.H100在推理阶段的使用 本对话讨论了在推理阶段使用H100卡的可能性。讨论指出，H100卡在推理方面的使用相对较少，主要原因是其功能与训练卡有所不同。此外，对于使用H100做推理的客户来说，其性价比较低。根据收集的数据，虽然H100在某些情况下的性能较高，但并没有高到与其价格呈同比例提升的程度。因此，预计明年L40推理卡会替代AHAAA10推理卡，从投入产出比来看，这种替代更为合适。 9.英伟达训练卡销售给云计算公司和非云厂商的比例 根据对话片段，英伟达的主要客户分为两类：云计算公司和非云厂商。其中，将近60%的出货量销售给了云计算公司，包括亚马逊、微软、谷歌、苹果等。另外，还有40%的出货量销售给了非云厂商，如OEM服务器厂商。因此，分析英伟达的资本开支时，需要将240万张训练卡的销售量分配给各个云计算公司。总的来说，240万张卡的销售量是可以消化掉的，没有问题。 10.GPU投资与应用产业链闭环的关系 GPU投资规模预计在2025年后才能看到回报，目前难以评估。然而，大规模投资背后有相应的分析和预测，客户认为这些投资是值得的。 11.英伟达卡预期调整的影响和未来展望 本次对话中，专家分析了英伟达明年卡预期调整的可能性和原因，以及对供应链和终端用户的影响。同时，还探讨了英伟达卡在不同行业的应用和需求情况。从目前的数据和调研来看，明年的卡出货量相对稳定，但仍需密切关注供应链和市场变化。 三、Q/A Q AI服务器市场近况是什么？ A 市场快速发展得益于两方面，一是英伟达推出了整个GBT的3.5和4.0的AI数据模型的框架，二是因为英伟达也推出了自己的H100高算力的训练卡。 Q 为什么AI服务器市场供应紧张？英伟达训练卡的供应情况会发生什么变化？ A 因为英伟达对市场估评估不够充分，第一季度的供应非常紧张。随着英伟达供应环节的充足，第二季度和下半季度供应较为充足。从第四季度开始，A700的量会增加。从第四季度开始，整个市场对于训练服务器的采购量也会提升。预计将会比今年提升大概三倍到三点五倍，明年将会在约350万张左右。其中A100的供应量会有所下降。 Q 为什么训练服务器市场采购量在下半年会放缓？ A 主要是由于第一季度和第二季度市场对于英伟达训练卡的需求增加，导致供应紧张，客户需求的高端卡如A100等受到影响。而在第二季度下半季度开始，由于整个市场对于卡的供应环节比较充足，所以高端卡的需求减少了。 Q A英伟达的训练卡A100和H100在市场上的占比是多少？ 预计在明年将分别占到约50到60万张和将近210到220万张的市场份额。A100将下降约30%左右。这是由于intel和AMD在明年大批量进行了他们第四代平台的更新换代，其中英Q伟达的H100训练卡将被用于第四代平台。 A明年北美云厂商会使用哪些训练卡？ 以第四代平台为主，仍会有少量A100的训练卡。对于中小客户，仍会继续使用A100训练Q卡。A明年训练卡出货节奏有何变化？2025年之后训练卡的采购量有何变化？ 推理卡（英伟达的A10、L40）的数量会大幅度提升，训练卡采购量会趋于下降。到2025年，推理卡和训练的增速才能恢复到正常水平。将趋于下降，因为数据模型训练完毕后，推理卡Q的数量会有大幅度提升。 A英伟达对国内的A800训练卡做了哪些限制？ 限制，限制每月供应数量，而且已经交付完毕。现在A800的供应量很小，而且英伟达不会Q再出新的A800卡给国内。 A英伟达对国内的H800训练卡的供应量有何变化？ 每月供应量比较小，大部分会分摊给所有国内客户，包括互联网客户。预计明年整个H800的需求量基本是在40到50万张，但我们认为英伟达在国内的这些训练卡的交付本身还是Q有一定的限制。 A英伟达H800的批量供应时间是什么时候？全球针对英伟达卡的发展趋势如何？ 明年第二季度初开始批量供应。目前的供应都还是极小批量的。还是相对缓慢的，主要由于英伟达的供应节奏所致。国内发展也较为缓慢，原因是英伟达的供应节奏导致国内诉求模型Q的训练速度较慢。 A为什么训练卡市场占比高达90%到95%？ 训练卡的制造工艺非常复杂，要求算力非常高，制作难度非常大。其他竞争对手要想触碰英Q伟达的商业利益是非常困难的。因此，训练卡市场是英伟达的绝对垄断地位。 国内和全球针对英伟达训练卡和推理卡的现状如何？为什么推理卡市场占比大约为70%左A右？未来推理卡市场的发展趋势如何？ 训练卡市场占比高达90%到95%，是绝对垄断地位。推理卡市场占比大约为70%左右，其中自研推理卡的占比有所提高。但目前英伟达仍然保持绝对垄断地位，即使有其他竞争对手也 很难达到其水平。是因为其他厂商或客户自研推理卡的占比有所提高，自研芯片的厂商也加入了推理卡阵列。随着时间的推移，越来越多的厂商加入推理卡阵列。会越来越多的厂商加入推理卡阵列，如华为的升腾海光系列和寒武纪等。这些厂商推出的自研推理卡能够部分替Q代英伟达的推理卡，从而降低英伟达的垄断地位，同时也能提升自身的技术水平。您刚刚提到明年四季度左右，模型训练的需求增速会放缓，这个时间点的判断主要是基于哪A些因素？ Q客户对自己数学模型训练的预测。A推理卡的采购时间点是在什么时候？ Q客户预计1到1年半内完成数学模型的训练，从今年第三季度开始陆续采购。 FPGA的方案在推理侧是否能有市场？发言人1 FPJ对实验要求高，可能在对时延要求不高的场景中有应用空间。目前在推理卡方面使用场景不多，但下一步随着边缘服务器的兴起，边缘端的服务器需要大量海量前端输入，QIPJ的芯片会逐渐起来。 A推理服务器的出货量会有怎样的变化？推理卡和训练卡的差价有多大？ 明年的话，24年的话，整个推理推理，我们预测推理卡的出货量预基本是在320到330或者340万张这么一个数量级。基本上会比训练卡会略略低一点，因为训练卡明年基本是在400到420万张。推理卡和训练卡之间的差价基本在一张A10推理卡的售价和一张A100训Q练卡的售价之间的差距将近三倍。 2025年推理卡的出货量预计是多少？推理卡的价格会有怎样的变化？为什么推理卡的数量A不会大量增加？推理卡和训练卡的功能有什么不同？ 550到580万张。明年基本是在4500到5000美金这么一张卡。用H100去做推理可能会比较少一点。训练卡更在意的是整个算力，包括工艺制造，而推理卡更多是在意整个的数据的Q收集和并发的一些并发用户量和并发数据一些分发。 A明年400到420万张训练卡，都是H100的话，总价会超过1000亿美金吗？ 训练卡是由云计算公司和非云计算公司两类客户构成，占出货量的60%。训练卡和推理卡的Q价格差异较大，明年推理卡的投入可能会有折扣。A一对1000亿美金的GPU开销需要对应多少亿美金的应用才能形成产业链闭环？ AI的浪潮是前所未有的，难以回答这个问题。目前各家算力公司都在疯狂囤卡买卡，但还没Q有看到由数学模型带来的商业回报。为什么现在大的云公司和算力公司要做大规模投资？云公司和算力公司对未来的回报预期是否可靠？ A 大规模投资的回报是需要相应的分析数据支持的，但目前相关数据难以公开。目前这些投资对于最终用户的回报预期难以公开，但大公司都是根据相应的分析数据进行决策的。 Q 厂商对未来的回报预期是否会出现调整？未来的预期会调整吗？厂商是否会面临调整预期的风险？ A 预期可能会调整，但具体时间点和原因还需要进一步观察。目前看来，未来的预期一直在调整中。厂商面临着调整预期的风险，但目前看来调整的可能性不大。 Q 厂商和服务器厂商如何确认未来的需求？ A 厂商通过调研终端用户和应答来确认未来的需求，服务器厂商则需要确认需求并和终端用户进行核实。 Q 未来的需求量是否可靠？ A 未来的需求量是比较靠谱的，因为终端用户和应答都通过调研得出了明确的需求。 Q 北美用户的盘点计划是什么时候？ A 每年11月份会给出第二年全年的排产计划，在第二年的56月份会对当年的下半年的排产计划做出调整。调整幅度约为5%。 Q 国内客户的判断计划精准吗？ A 虽然国内