AI服务器推动HBM爆增电话会纪要–20231121

AI服务器推动HBM爆增电话会纪要 要点：英伟达发布AI芯片H200，首次采用HBM3e，拥有141GB显存，4.8TB/秒带宽。与H100相比，H200的推理速度、带宽、显存容量等提升。随着H2002024Q2计划交付、B100计划2024年发布，叠加AI发展算力需求持续增加驱动，有望带动HBM产品市场规模快速增长，利好相关材料、经销、设备、封测等环节发展。 AI服务器推动HBM爆增电话会纪要 要点：英伟达发布AI芯片H200，首次采用HBM3e，拥有141GB显存，4.8TB/秒带宽。与H100相比，H200的推理速度、带宽、显存容量等提升。随着H2002024Q2计划交付、B100计划2024年发布，叠加AI发展算力需求持续增加驱动，有望带动HBM产品市场规模快速增长，利好相关材料、经销、设备、封测等环节发展。 需求端：带宽为算力提升瓶颈，HBM与大模型相辅相成。 供给端：产品升级，产能速增。 HBM突破了内存容量与带宽瓶颈，打破了“内存墙”对算力提升的桎梏，其具备高带宽、低功耗的特点，面对AI大模型千亿、万亿的参数规模，服务器中负责计算的GPU几乎必须搭载HBM。目前全球HBM产能主要用于满足Nvidia和AMD的AI芯片需求。随着大型互联网客户自研AI芯片陆续推出，HBM客户群预计将大幅扩容，HBM对全球半导体市场的影响力将进一步加大。据TrendForced预测，2024年整体HBM营收有望达89亿美元，年增127%。 据TrendForce数据，三大原厂SK海力士、三星、美光2022年HBM市占率分别为50%、40%、10%，2023年预计分别为53%、38%、9%。原厂加大投入，带动HBM产能持续扩张。据TrendForced数据，原厂通过加大TSV产线来扩增HBM产能，预估2024年HBM供给位元量将年增105%，多数HBM产能24Q2有望陆续开出。其中，随着HBM3的加速芯片陆续放量，2024年市场需求将大幅转往HBM3，其更高的ASP有望带动2024年HBM市场显著成长。设备/材料：工艺升级，用量提升。HBM的工艺把DRAM技术路径从平面结构带向了3D结构，3D结构的构建将为对应的设备材料带来更多需求，其中TSV工艺最为关键，核心设备为硅通孔刻蚀设备，刻蚀完成后的金属填充设备、CMP设备、键合机需求也会相应增长，材料方面，刻蚀液、硅电极、电镀液、CVD前驱体、靶材、键合材料、硅球粉同样会有需求提升。 封测端：先进封装，CoWos助力。 HBM通过使用TSV垂直堆叠多个DRAM，可显著提升数据处理速度，同时尺寸有所减小。随着AI及HBM需求加速发展，有望带动先进封装需求持续增长。据台积电预计，目前其CoWos产能供应紧张，2024-2025年将扩产，2024年其CoWos产能将实现倍增。同时，三星计划于2024年推出先进3D芯片封装技术SAINT，具备SAINTS、SAINTD、SAINTL三种方案。 Q&A HBM在英伟达采用下的产业进展有哪些突破？进展推动超过市场预期，技术上通过H的升级和 IO接口的升级，实现了参数，尤其是实现了这个内存带宽的一个2.4倍的一个升级，使其内存带宽升级至原来的2.4倍。 HBM供应链的情况如何？ 目前HBM仍然处于一个供不应求的状态，尽管下游的两大巨头三星和海力士已经陆续开启扩展计划，但是在中国大陆地区，HBM的拿货情况仍然非常紧张。 HBM的占比如何？ 在整个H100的芯片中间，HBM的价值量占比已经超过了台积电的一个价值量占比，整体的一个成本的话大概是在200美金左右，大概是在200美金左右。封装考虑上这个cross的一个封装成本的话，一块的话可能是在700到800美金。也就是说台积电这边在一片H700的这几个供应中间 的，它的整个物warm成本中间的话，它的价值量的话是1000美金左右。按照HBM3第三代的这个产品来看的话，还是它整个在一颗H100上面的话，他的提供的这个颗数的话是六颗。然后每一颗的话大概在16GB左右。也就是说按照每GB现在的报价可能还是超过了15美金，未来的话不排除有涨价的一个可能。即使在未来稳态状况下的话，我们依然觉得hgame3和hgame31的话可能都是在12亿美金的。每个区间内的话，那么6颗HBM芯片加起来的话是1500美金。 整个AI芯片的价格的占比的话，目前HBM的话它其实已经成为了事实上已经成为了单一最大的一个成本项! HBM3的性能有何变化？ 带宽的话是从460GB提升到了819，这一块的一个整个升级的话31相比较第三代的话，在此还有进一步的提升，目前整个行业肯定还是以海力士为主，走在最前列。 为什么HBM比DR加更适合用于AI芯片？ 因为HBM的总线位宽，时间速率、带宽以及包括这个工作电压在内的话，各个性能参数的话都是相比较GDP加5的话都有明显的优势，尤其是带宽的话是达到了三倍以上，相同功率下的带宽的话是达到3倍以上。 价值？单张 目前的内存瓶颈主要在哪里？训练上，全部上HBM。一台高性能AI服务器对应的HBM H100上面的价格是多少？ 明年市场规模能达到多大？市场规模的测算过程中有哪些问题？ 单张的话HBM的整个价格是在1500美金以上。按照一台服务器1比8的这么一个配置比例来看的话，三台服务器是至少在1.2万美金以上。那么如果我们按照H200的141GB的这个体量来测算的话，可能最终的整个价值量的话是会增长到1.5万美金以上。所以说简单的做算术提成本的话，就是一台AI服务器，一台高性能的AI服务器对应的HBM的整个用量的话是在1.2到1.5万美金的这么一个区间。那即使是啊配置低一些的这个AI服务器的话，比如说像最新的华为的话，我们测算一下下来单台的整个ASP的话应该也不会低于9000美金 以每GB售价20美元来进行的一个测22年的市场规模是在36亿美金左右，到了26年的话，整个市场规模的话是在127亿美金以上。随着巨头的产能逐步投放，可能还会有下降空间。同时，HBM的出货量可能还有上调的空间。 市场格局如何？海力士的HBM工艺流程中涉及哪些公司？ 从市场格局来看，海力士占了50%，三星40%，美光10%。涉及到的公司有海力士、三星和美光。 TSV的工艺流程是怎样的？ 包括在web端先做TSV，再经过测试筛选出好的芯片。它是通过芯片和芯片之间或者是晶圆和晶圆之间制作垂直导通来实现芯片之间互联的技术。国内的HBM工艺流程有哪些供应商？ 主要是设备包括北方华创、中微、华特气体这些公司。 TSV的孔内需要沉积什么层？它的作用是什么？绝缘层，作用是防止通孔之间的漏电和串扰。主要的沉积设备是PECVD，海外的供应商是科磊旗下的SPTS。国内的话是拓荆科技在这块有相关的产品布局。 TSV电镀填充的工艺是什么？TSV电镀后还需要进行什么操作？ 目前主流的是电镀铜这个工艺，相关的电镀设备主要供应商是海外的安美特。国内的供应商在设备和材料环节，主要是圣美、天成科技和上海新阳分别都在各自的环节有所突破。抛光，包括CMP进行抛光和填充，这个相关的设备就是CMP设备和抛光液抛光垫这些材料。国内的话华海清科、鼎龙股份、安集科技都有比较好的布局。 HBM封装的成本包括哪些部分？TSV的背面露头工艺的成本占比是多少？ 前段工艺和后段工艺的成本占比分别为20%，后段工艺主要包括RDL重复线和回流焊等过程。TCB的设备成本占比较高，主要供应商是海外的 ASMP。在12%左右。 先进封装电镀材料的市场规模有多大？先进封装的电镀设备和材料的需求如何？ 海力士预计，由于先进封装结构里面重布线TSV和铜柱的用量增加，整个先进封装的电镀材料的市场在26年市场规模会超过12亿美金。电镀设备的需求主要来自电镀先进封装电镀材料行业的增量，因为先进封装结构里面重布线TSV和铜柱的用量增加。 海力士在HBM工艺方面有哪些优势？ 领先地位，尤其是有一个核心的技术叫MRMUF，它在堆叠的时候，在芯片和芯片中间，用液态的环氧树脂塑封材料来替代传统的 NCF，能够提高热导率，改善工艺速度和良率。 请问三星和美光的优势分别是什么？请问推荐的标的有哪些？ 三星的优势在于代工业务和2.5D3D封装形式，并且提供HBM解决方案；美光则是加速追赶，目前处于追赶阶段。包括海力士的前驱体供应商雅克科技、设备环节中固精的新益昌、测试环节的长春科技、电镀液材料的天成科技、封装环节的深科技，以及海力士服务器存储中国区的总代理香农芯创。