AI服务器行业近况更新电话会纪要–20231008

问：请简要介绍一下全球Al服务器市场的发展情况。 答：主要受到OpenAl和英伟达两方面的拉动，尤其是英伟达的H100高算力训练卡的推出，使得客户对自己训练模型的热情提高，从而推动了市场发展。但由于英伟达在市场预估上不够充分，供应不足导致第一季度和第二季度市场供应紧张。 问：请简要介绍一下全球Al服务器市场的发展情况。 答：主要受到OpenAl和英伟达两方面的拉动，尤其是英伟达的H100高算力训练卡的推出，使得客户对自己训练模型的热情提高，从而推动了市场发展。但由于英伟达在市场预估上不够充分，供应不足导致第一季度和第二季度市场供应紧张。但从第二季度下半季度开始，英伟达的供应环节改善，H100的供应量也会大幅增加。 问：请介绍一下今年北美市场对Al服务器的采购量和卡的供应情况。 答：今年下半年开始，由于整个市场对训练服务器的采购量提升，导致英伟达在北美市场的供应环节有所改善，H100的供应量也会大幅增加。但从第二季度下半季度开始，英伟达的供应节奏也开始充足，对H100的采购量也有所减少。 问：请介绍一下明年训练服务器市场的发展情况。 答：整体上张，其中H100的出货量会大幅增加，明年预计会达到350万张左右。而英伟达的卡也会随之减少，但这主要是因为英伟达在第四代平台的更新换代中将会推出更高算力的卡，例如H100。 问：明年北美云厂商会使用哪些训练卡？ 答：以第四代平台为主，仍会有少量A100的训练卡。对于中小客户，仍会继续使用A100训练卡。问：明年训练卡出货节奏有何变化？2025年之后训练卡的采购量有何变化？ 答：推理卡(英伟达的A10、L40)的数量会大幅度提升，训练卡采购量会趋于下降。到2025年，推理卡和训练的增速才能恢复到正常水平。将趋于下降，因为数据模型训练完毕后，推理卡的数量会有大幅度提升。 问：英伟达对国内的A800训练卡做了哪些限制？ 答：限制，限制每月供应数量，而且已经交付完毕。现在A800的供应量很小，而且英伟达不会再出新的A800卡给国内。问：英伟达对国内的H800训练卡的供应量有何变化？ 答：每月供应量较小，而且已经分摊给所有国内客户，包括互联网客户。 问：英伟达H800的批量供应情况如何？全球和国内对英伟达卡的数据模型发展情况如何？英伟达的供应节奏如何影响国内的诉求模型？ 答：预计英伟达H800的批量供应将在明年第二季度初进行一个比较大的批量供应。目前的供应量还比较小。整体发展比较缓慢，主要原因是英伟达的供应节奏，导致国内的需求模型也会慢一点。因为英伟达的供应节奏，国内的需求模型在行训练的时候也会接受英伟达卡的慢一点。 问：英伟达的自研卡和推理卡市场占比情况如何？ 答：训练卡基本占市场90%到95%，自研卡基本占市场70%左右。自研卡的算力和制造工艺难度相对较小。推理卡市场中，自研卡的占比正在增长，因为算力要求不像训练卡那么高。 问：国产卡的情况如何？ 答：国产卡正在推出自己的推理卡，来替代英伟达的推理卡。这些国产卡的芯片供应商基本都推出了自己的推理卡来满足能够替代或者是部分替代英伟达基于这个推理卡的一些要求。这样可以加速技术提升，同时也可以降低英伟达的推理卡的茔断地位。 问：推理卡在模型训练方面的增速会有放缓的原因是什么？ 答：因为各大云公司和算力公司已经开始对未来的数学模型商业化做时间上的安排，预计需要1到1年半的时间完成各自领域的数学模型训练，然后进行商业化。 问：明年第四季度将结束哪些步骤？ 答：整个数学模型的建立和训练卡的采购储备，推理卡的采购量会在第四季度开始逐步上来。 答：FPGA对实验要求较高，目前应用在自动驾驶等对时延要求较高的领域，如果在退役卡等非实验领域应用，还需要观察其技术发展情况。问：IPJ芯片在未来的发展前景如何？ 答：随着边缘服务的兴起，需要高算力高速的芯片来支撑，预计在未来3到5年内，随着边缘服务的发展，IPJ芯片会有一个比较好的发展。问：推理卡在25年的出货量和单价如何预期？ 答：可以看到开始放量，具体单价需要看未来的情况。 问：推理卡的预测出货量和训练卡有什么不同？推理卡的出货量和训练卡的数量预测分别是多少？ 答：推理卡的出货量预计基本在200到240万张，而训练卡预计在400到420万张。明年训练服务器会有比较大的提升，但是推理服务器的提升幅度不如训练服务器高。推理卡预测在明年会在320到330万张，而训练卡预测在400到420万张。 问：推理服务器的单价预测是多少？ 答：推理服器L40的单价预测在4500到5000美金一张，会比A10贵一些。问：为什么A100不能全部用来做推理？ 答：不能全部用来做推理，可能会比较少一点，但不排除会有。主要原因是训练卡更在意算力，而推理卡更注重数据的收集和并发。问：英伟达的卡投入生意模式是什么样的？ 答：包括两大类客户：云计算公司和非云计算公司。 问：如何分析英伟达的资本开支？1000亿美金的GPU投资需要对应多少亿美金的应用才能形成产业链闭环？ 答：需要拿240万张卡来分析，分配给所有的云公司和其他客户。很难回答，因为现在没有一家公司能够直接取到由数学模型所带来的收益回报 。可能需要到明年2025年甚至2026年的年中才能看到回报。 问：为什么大的云公司或算力公司去做大规模这种投资？现在大家都在做哪些准备工作？ 答：因为他们相信在这方面的回报是做过相应的分析的，但现在这些分析确实是他们没有完全去公开出来，我们也没有拿到相应他们内部一些分析数据来支撑他们。除了跟英伟达确认需求，服务器厂商还在积极跟终端用户确认明年是否有这么多需求。现在大家通过两方面的数据去调研，一方面是终端用户，另一方面是跟英伟达去调研。目前来看，对于明年400万张的量，大家还是相对是比较还是能够碰得上的。 问：投资是否值得？会不会因为收入体量出不来而不愿意投？ 答：我们相信这些投资对于客户来说是值得的，因为我听微软法社会这些他们讲的也是说他们对于这方面的投入会跟收入体量的增长相匹配。因为大家开始可以投，但是到某一个节点觉得受不了了，一直投，然后也出不来，这是有可能出现。 问：大家现在对于明年的预期是怎样的？ 答：不是一拍脑袋就决定的，大家现在通过调研和英伟达给出的指引，认为明年大概有400万张训练卡。但是大家也不能确定这个数字是否真实可靠，因为英伟达的调整是随着市场和供应链情况的变化而变化的。 问：为什么北美云厂商的排产计划相对比较稳定？ 答：对于北美云厂商来说，基本上不会有太大的砍单的情况。对于国内来说，确实会有比较大的砍单情况。但是对于北美客户来说，他们的排产计划是在每年的11月份给出第二年全年的排产计划。当然这次调整的话，基本它会有大概5%左右的一个调整的一个幅度增加或减少。所以整个北美用户的排产计划出来以后，它整个这个量还是相对是比较稳的。 问：明年的预期是什么？ 答：对明年的预期比较明确，可能在今年9月或11月份。 问：剩下40%的卡卖给了哪些客户？剩下40%的卡主要由哪些行业客户采购？ 答：卖给了非云厂商客户和OEM服务器等终端客户。主要由金融科研、运营商、高校、算力公司和交通等行业客户采购。