服务器专家交流-20240313

服务器专家交流 Q&A： Q：2024年英伟达全球AI训练卡的出货量预计情况如何？ A：预计英伟达在全球的AI训练卡出货量大约是440万张，这主要以H100型号为主，预计 有330万张；B100型号预计有35万张；A100型号大约20万张；A100的量很小，属于产品末期；H20的单卡性能比国产卡性能差很多，但是多卡集群的效率是更高的，对于比较开放 的互联网客户来说会大批量的采购H20，目前30万张卡是用户互联网公司，后面还是有追加的可能性。 Q：H100，B100，H200这三种板卡今年的供应情况和定位分别是什么？ A：H100是今年的主力板卡，B100和H200将在下半年开始小批量供应。B100和H200是英伟达的下一代高端训练板卡，服务于互联网公司，特别是北美地区的公司，B100属于高端 训练卡，H200则定位于中低端训练卡。服务器专家交流 Q&A： Q：2024年英伟达全球AI训练卡的出货量预计情况如何？ A：预计英伟达在全球的AI训练卡出货量大约是440万张，这主要以H100型号为主，预计 有330万张；B100型号预计有35万张；A100型号大约20万张；A100的量很小，属于产品末期；H20的单卡性能比国产卡性能差很多，但是多卡集群的效率是更高的，对于比较开放 的互联网客户来说会大批量的采购H20，目前30万张卡是用户互联网公司，后面还是有追加的可能性。 Q：H100，B100，H200这三种板卡今年的供应情况和定位分别是什么？ A：H100是今年的主力板卡，B100和H200将在下半年开始小批量供应。B100和H200是英伟达的下一代高端训练板卡，服务于互联网公司，特别是北美地区的公司，B100属于高端 训练卡，H200则定位于中低端训练卡。 Q：A100板卡今年的出货量和生产预期是怎样的？ A：A100板卡今年的出货量很小，被视为产品末期。预计在A型号售罄后，A100将于明年停产。 Q：国产H20板卡目前的使用情况怎样？ A：H20板卡的主要客户群体是国内的云厂商和大型运营商，尽管中小企业也有一些使用，但量不大。尽管H20板卡的性能存在不足，但从今年开始，云厂商对H20板卡的接受度正在恢复。这是因为即便H20的单卡性能不如国产卡，但在大规模数据集群中，其整体效率相对较高。很多开放型互联网客户仍倾向于大量采购H20板卡。今年，近40万张H20板卡中，大约有30万张被用于和互联网公司的合作。尽管存在竞争，英伟达的产品仍然在生态和算力方面持有优势，存在增长潜力。 Q：目前2024年国产AI训练卡的市场情况如何？ A：随着美国对中国的A100、A800、H800和F40限购政策，去年第四季度，国内市场基本看不到英伟达的官方出货。国内客户都开始大量引入国产卡。华为的产品尤为突出，在互 联 网行业存在供不应求的情况。国产卡的普及趋势非常好。 Q：对于2024年国产AI训练卡的总体展望如何？ A：国产AI训练卡市场预计在2024年及未来几年会迎来快速增长。市场需求旺盛，但整体的供应能力成为关键因素。需关注能否保证稳定供应以满足市场需求。 Q：目前全球加速卡市场的份额情况如何？ A：目前台积电代工生产NVIDIA全线的训练卡，包括H100、A100、H20、H200等，占有100%的份额。 Q：报告中关于训练卡的出货量数据，是基于NVIDIA给台积电的预期，还是其他数据？A：报告中的数据是今年整体的出货量预期，其中H20 可能会有一二十万张的变化，但其他数量不会有太大变动。 Q：市场对H100和H200的预期是否与报告中提到的数量有所不同？ A：是的，市场预期H100出货量在200万张以上，而H200可能是几十万张。H200使用的是 H100的芯片，所以H100的总出货量包含了销售给第三方和NVIDIA自用的H200。Q：H20的订单数量是否是NVIDIA确认的固定数额？ A：是的，40万张左右是NVIDIA向台积电下的订单，主要基于NVIDIA在中国的需求。 H20 仅限中国市场。 Q：增加H20订单的周期是多久？ A：如果现在下H20加单，需要的周期大约是半年。NVIDIA需要客户的正式订单后才会进行下单。 Q：40万张是NVIDIA确定能够销售的数量吗？ A：是的，40万张已经有相对清晰的需求，其中字节跳动约15万张，腾讯10万张，阿里和百度各约5万张，运营商大约10万张。 Q：国内智算中心会购买H20加速卡吗 A：国内的智能计算中心主要会使用国产的卡，比如海光和寒武纪的产品，不会购买H20。Q：英伟达的B100加速卡预计何时开始销售，今年的出货量如何？ A：B100加速卡预计在今年的三季度和四季度开始销售，三季度大约10万张，四季度大约25 万张。 Q：明年对于B100加速卡的供应预期如何？ A：明年B100的需求仍然很大，因为H100可能会降级成为推理卡，所以明年训练卡的主要产品将会是B100和H200。增长率预计约为20%，总出货量在500万张内。 Q：H100加速卡的PCIE与SXM版本的分布情况如何？ A：约60%是SXM，而PCIE的版本占40%。 Q：为什么有些非云厂商会选择PCIE版的H100，尽管它的互联速度低？ A：非云厂商可能会选择PCIE的版本，因为它们可以不完全填充服务器扩展槽，根据自身的需求和预算灵活配置。 Q：英伟达的H100加速卡的交期是什么情况？ A：对于云厂商，交期较短，约6-8周；对于非云厂商的临时订单，交期大概在8-12周。Q：目前供应方面的情况如何？A：海外供应方面，英伟达没有太大问题。正常的交期大约是两个月，这和以前国内市场在没有受到限制时的情况相似。Q：B100的出货量会有很大的变数吗？ A：今年的变数并不大，35万张的出货量已经有较为明确的需求，故预计会按照之前提到的量级进行。 Q：拆分一下今年400万张的训练卡分别是哪些芯片以及各自多少万张？ A：H100大约330万张，A100约20万张，H200约20万张，B100约35万张，H20约40万张。 Q：服务器市场的份额和供应链情况？ A：目前AI服务器市场约55%被台系ODM厂商占据。超微（smci）约占15%。戴尔和惠普共占约20%。剩余10%为其他厂商。 Q：英伟达拿卡的能力是否影响服务器的市场份额？ A：服务器的市场份额是跟随下游的需求走的，而不是仅基于英伟达拿卡的能力。 Q：24年和25年，尤其是25年推理卡的数量预期如何？ A：明年的推理卡预计将达到近500万张，增幅明显，与训练卡的比例接近1：1。Q：代工加速卡的利润率情况如何？ A：A100加速卡的代工费用大约在300美金，H100在400美金左右，而新型的B100和H200 代工费用约为1000美金，利润率在30%左右。Q：目前市场主要销售的是L40S吗？ A：实际上，今年我们主要销售的是L40和L40S。L40在今年占到了350万张卡中的近300 万张，L40S则占到了大概50万张。所以，今年我们主要销售的是L40和L40S。Q：L40已卖出300万张，L40S已卖出50万张，那这两种产品的单价是多少？ A：L40一张卡的售价是5000美金，而L40S一张卡的售价是将近7000美金。 Q：明年推理的500万张卡，能不能拆分一下？ A：首先，这个数字只是预估值，因为目前我们并未收到确切的数字。目前，我们只能估计大概的数量，但无法准确预估型号，因为我们只看到了最新的推力卡L40和L40S。明年可 能会有400万张的H100，如果有新的推理卡出来，那么这个新的推理卡可能会有大概300 万张，剩下的100万张来做推理。 Q：AMD的卡值多少钱？ A：如果是MI300的话，价格应该在15，000-16，000美金一张。他们的价格定位肯定要低于 H100才有竞争力。 Q：AMD的MI300和H100相比，性能如何？ A：即使AMD自称MI300对标H100，并拥有更好的性能，但是从客户的反馈来看，MI300 的性能实际上要差很多。 Q：如果供应商调整将会获得多少份额？ A：根据英伟达以前的操作经验，第一年的份额可能不会很高，大概只有10%-15%。Q：H100如果用于推理，价格会下降吗？ A：尽管有可能下调H100的价格，但预计降幅不会太大，目前市场价大约在21，000到23，000 美金之间，未来可能会稳定在20，000美金左右。由于整个工艺成本比较高，不会有大幅度的降价。 Q：UBB的PCB板的供应份额是如何的？ A：UBB的PCB目前主要由新兴电子生产，大约占70%份额，另外30%由TTM供应。目前没有固定的份额安排，主要是台资和美资的PCB供应商。 Q：B100的份额是如何分配的？ A：B100的供应商目前还在选定中，联能和新兴电子是目前的主要候选者。供应商确定后，我们可以开始采购相应的零部件。预计4月份能够确定供应商。 Q：苹果的AI服务器情况能否介绍一下？ A：苹果大约三年前开始规划自己的AI服务器，因为之前他们整个服务是放在Meta和Google云上面。从2023年到2024年，苹果开始启动自己的AI服务。预计从2024年到 2026年，他们的采购量在6万到7万台之间。2024年预计采购两万台，含12，000台推理服务器，即L40推理服务器，以及8，000台全部使用H200的训练服务器。他们的主要应用是自家的服务，例如苹果cloud，做客户行为分析和推荐算法等。未来3年在AI服务器 的投资比较大。 Q：苹果的6万台服务器和国内云厂的数量比如何？供应商的份额怎么分配？ A：苹果的6万台确实是一个大量，三年中的净增推理服务器大约在17000到18000台。对比国内云厂商，苹果是全局控制其服务生态系统，处理巨量数据，进行客户分类和产品推 荐 等。不同于国内以硬件平台出租为主的云厂商，苹果是需要用于大量算法和数学模型训练的， 因此量大。对硬件的需求不同。 Q：苹果的价格比云服务公司的价格怎么样？ A：苹果的价格相对较低。H100的训练服务器价格在20万美金左右，低于一般的AI服务器代工的价格。 Q：它的利润率怎样？ A：利润率还不错，毛利率是在5%，净利率大约在3.5%到4%。Q：一季度业绩如何？ A：一季度，AI服务器出货量大约有4.2万台，其中1.5万台是训练服务器，其余是推理服 务器。在通用服务器方面，一季度出货了将近50万台，平均价格在1万美金左右。Q：今年整体的推理服务器占比能达到多少？ A：今年的推理服务器占比预计能达到60%。 Q：GH200架构里面服务器P5后面插的是多少级的光模块？ A：单台GH200服务器后面会有一个800G的光模块，但如果是建成GH200集群的话，那么整个后面将近会有256个模块。B100的模块后面的光模块速率基本是在800G。如果是H100 的话也是配800G。B100从明年开始可能会升级至1.6T的光模块。 Q：GH200是一个服务器，内部有一个加速卡，对吧？ A：对，有一个加速卡和一个CPU。 Q：B100的服务器如果配1.6T光模块是4个，800G光模块是8个吗？ A：是的，这是正确的配置。 Q：苹果AI服务器H100都是我们做的，L40我们不做，那是广达做的对吗？ A：对，L40和L40S的卡本身是广达在做的，即英伟达的训练卡我们做成模块，推理卡我们没有做，是广达在做。 Q：B100后面除了1.6T光模块以外还有其他提升吗？ A：没有太多其他要求，主要是光模块的速率提升，预计B100兴起以后基本上都会使用1.6T 光模块。 Q：普通服务器今天有复苏吗？会有增长吗？ A：没有复苏，增长基本停滞，只是下降的速度变缓了，去年整个市场是下滑的。