AI服务器专家交流电话会纪要–20240322

Q：国内对英伟达的推理卡，比如A30、A40以及L40的需求量有多大？A：国内对英伟达的各类推理卡需求量很大。A30、A40包括L40这类卡，在推理应用场景中的需求量至少有10万片以上。尤其是随着各种应用场景落地和大量小模型的部署，这些卡的需求量会进一步上升。 Q：国内对英伟达的推理卡，比如A30、A40以及L40的需求量有多大？A：国内对英伟达的各类推理卡需求量很大。A30、A40包括L40这类卡，在推理应用场景中的需求量至少有10万片以上。尤其是随着各种应用场景落地和大量小模型的部署，这些卡的需求量会进一步上升。目前，对于可销售的A40、A10，包括L20，甚至H20等卡片，已经有较高的需求，我们已经从用户那里收集到了一些订单需求。 Q：现在英伟达的训练卡和推理卡的供应情况是怎样的？24年的市场形势预测是什么？ Q：英伟达的显卡目前国内的价格是怎样的？生成（神农）卡的交付量及价格状况如何？ A：目前国内能够获取的英伟达的主要产品为H20和L20卡。H20是基于hopper架构，具有96G的HBM3缓存。它与H100使用相同的芯片组和缓存组，显存甚至比H100的80G更大。H20支持4TB/s的GPU内存速率，尤其在单晶训练方面的性能出色，主要用于推理工作。另一方面，L20的显存则是H20的一半，而内存传输速率下降了三到四倍。就2024年而言，如果技术和政策环境保持稳定，预计H20、L20等卡片能够正常交付，满足市场需求。但是，在AI追赶的竞争中，国内产品与最新的NVD产品的性能差距将越来越大，这可能会导致国内需要更多的设备来赶上国际的训练和推理服务速度。具体到数量，很难估计。 A：H100P3E卡在国内的价格大约为245，000元，L20约为75，000元，H20接近140，000元。此外，RTX的4090卡在春节后价格上涨，目前为20，000元。对于生成（神农）卡，以八卡整机的形式，价格大约在150万左右。神农卡去年的交货量大约为150，000片，2024年可能会提升到20到25万片。这意味着神农卡的需求量在上升，部分原因可能与国内对于AI和深度学习计算需求的增加有关。 Q：可以分析一下国内服务器企业的竞争格局和各自的优劣势吗？ Q：能详细介绍一下英伟达的服务器卡产品在中国市场的情况吗？ A：国内服务器市场的主要竞争者包括浪潮、新华三、三超聚变、联想、戴尔，以及宁唱（中科曙光旗下品牌）。浪潮以产品能力和大规模交付能力突出，具备强大的定制化能力，特别是在互联网和通信运营商市场。浪潮在GPU算力服务器领域占有率曾高达50%以上，但因技术限制和交付问题，在当前环境下受到较大影响。三超聚变脱离华为后，失去了华为的整体解决方案优势，竞争力受到影响。新华三在通用服务器市场占有率大约7%-10%，在AI服务器市场接近15%。新华三通过大型系统集成商满足中型行业用户，并通过H3C和惠普产品维持市场竞争力。宁唱则是利用中科曙光在高性能计算领域的底蕴维护市场。戴尔的策略则是通过分销模式触达中小企业客户。 A：国内能买到的高端英伟达产品主要有H800和H100。H800，一个中国特供版产品，因为一些公开招标企业不能取消订单，从海外市场进口了一部分库存，价格在300至310万人民币。H100价格略低，在280至290万人民币。对于英伟达的PCIE产品，A7100的价格大约是25万人民币，按照8张卡计算，总价在200万人民币左右。而L40和A40的价格分别在110万和70万人民币左右。最新的L20目前市场价大约75万人民币。H20目前在中国市场还未销售，但其性能预估会比L20高一倍，单卡价格可能是13至14万人民币，整机预估价格超过120万人民币。 Q：浪潮公司AI服务器毛利率与通用计算服务器相比有何不同？ A：AI服务器的毛利率相对于通用计算服务器有显著提升。通用计算服务器多年来的毛利率维持在10%左右，而AI服务器至少提升了五个百分点，我 们估计AI服务器的毛利率应该在16%到20%以下这个区间，但是肯定高于15%。 Q：所提到的16%毛利率是否包含了GPU卡？ A：16%的毛利率是不包含GPU卡的。我们是基于GPU服务器机型与通用计算服务器机型在未插入GPU卡时进行的对比分析。通用服务器和AI服务器在没有GPU卡时，毛利存在百分点的差距。 Q：客户购买AI服务器时，GPU卡是由客户自行采购吗？ A：不是全部如此。对于非禁售的产品，浪潮等整机厂商主导销售，比如L20、L2，以及A10这类卡。而对于禁售的卡如A800、H800、L40S 等，则需要客户通过渠道商或集成商自行采购单卡。 Q：浪潮服务器的毛利与净利如何可量化？ A：以通用型服务器为例，均价在65000到70000元左右，OEM厂商可以赚到5000元左右的毛利。而AI服务器，如果不含GPU卡，其机身和其他配件较贵，以HGX整机为例，机身售价在17万到20万元之间，毛利能达到3万到4万，大约是通用计算服务器的6到8倍。 Q：销售GPU和存储时的策略是什么？是否会在此过程中获利？ A：当帮客户采购了GPU和存储等电子料后，OEM厂商会获得一定利润。利润通常来自占用的资金成本和服务费，大约是部件或服务费3%到5%的利润。对于核心组件的采购，如H800等，价格虽然可能在300万左右，但在非禁售情况下可能只能以200到210万的价格销售，整机厂商相应的服务获利就会相对减少。这就是为什么很多厂商都积极销售自家的AI算力服务器，因为即使在相对较低的占用费用上，也能通过高毛利的硬件销售获得较高的整体利润。 Q：互联网大厂的GPU卡、CPU、内存和硬盘等关键零部件的采购流程是怎样的？与OEM厂商有何关系？ A：互联网大厂通常有自己的特定型号，和上游厂商谈量谈价后，由OEM厂商去竞标，垫资购入这些核心零部件，然后装到整机再交付。其中，互联网大厂可以拿到子型号的特殊价格和供给保障。OEM厂商在这个过程中能赚取的主要是关键零部件的资金占用成本的费用，一般在一两个百分点。 Q：小型厂商的采购模式与大厂有何不同？可以操作的空间有哪些？A：小型厂商通常只能购买整机，这时OEM厂商有更多操作空间。OEM厂商可能会根据情况引导用户，提供不同的CPU、内存或容量和接口不同的硬盘。小型厂商需要由服务器厂家来采购相关的零部件。 Q：液冷产品的提供商是由服务器厂商自己提供还是第三方供应？ Q：目前对于液冷技术的发展趋势如何？哪些厂商在液冷方面走在前列？A：在碳中和的大趋势下，由于AI服务器耗电量大，采用液冷散热方式成为性价比高的解决方式。浪潮提出了all-in液冷战略，已经将旗下几乎所有服务器产品配备液冷方案，用户可以根据需求选择风扇版或液冷版。液冷技术主要有冷板式液冷和背板式液冷两种方式。浪潮在液冷方面做得比较好，几乎所有产品都设计了液冷方案。 A：NVIDIA现在支持液冷，初期它的硬件设计没有包含液冷方案，但现在其硬件产品已经支持这一点。在液冷产品供应方面，服务器厂商需对自己的设备重构和设计，数据中心需要支持从服务器端到机柜端热量液态交换的设施。液冷散热不再是单纯通过空气，而是需要通过冷却水循环散热。 Q：未来如果H20可以销售，国内训练用的厂家是更倾向于购买H20还是说它性价比不高，采购欲望不如H100或H800？ A：H20相比原来的H100在性能上有所削减，它的性能大约是H100的25到30%，这意味着需要更多的设备和网络组网来维持同等的算力，导致整体成本升高。这会使得需要大规模模型训练的互联网用户至少会考虑其他方案，比如算力租赁或者购买一些所谓禁售的产品。因此，H20可能不会受到国内厂家的青睐，它们更倾向于继续采购H100和H800，甚至是英伟达刚发布的最新GPU卡。这是因为对国内而言，这些算力卡相当于战略物资。特别是考虑到英伟达新发布的B200芯片性能可能是H100的五倍，相比华为和寒武纪的产品，性能优势可能达到数十倍，甚至20倍，所以国内市场对于B200的需求可能会更大。 Q：相对于升腾910等国产化芯片，您怎么看它们在市场上的竞争力？A：目前国内在生产GPU的HBM高速缓存芯片方面，大概只能做到第二代H100所使用的第五代HBM芯片。华为的升腾910及其他相关国产芯片主要集中在推理端，而在训练端包括升腾910，它们在性能上还是逊色于英伟达的H100。考虑到这些因素，即使是升腾910，由于供给限制和生态兼容性问题，其在市场上的竞争力也有限。大部分国产算力卡不论是生产还是性能，都在推理端占主导地位，而在训练端则相对较弱。