AI系列深度报告（二）：HBM：高带宽特性释放AI硬件性能，AI高景气持续驱动需求高增

证券研究报告 AI系列深度报告（二） HBM：高带宽特性释放AI硬件性能，AI高景 气持续驱动需求高增 电子行业强于大市（维持）半导体行业强于大市（维持）计算机行业强于大市（维持） 电子信息团队 2024年7月12日 请务必阅读正文后免责条款 投资要点 高带宽特性释放AI硬件性能，HBM成为AI时代首选内存技术。当前诸如GPT-3等AI大模型所要求的算力日益提升，伴随着的是参数数量呈现指数级增长，传统的内存带宽及传输速率限制了AI硬件以及系统的最大性能，相较于传统DDR内存，HBM具有高带宽、低功耗、低延时等优势，已成为当前高性能计算、人工 智能等领域的首选内存技术。当前HBM产品已经发展至第五代HBM3e，内存带宽相较上一代提升47%至1.2TB/s，堆叠层数最高可达12层，对应最高容量达 36GB，当前三大原厂均已入局并在24H1陆续出货，考虑到HBM需求的火爆程度，SK海力士还计划提前一年在2025年发布HBM4。 三大原厂持续扩充HBM产能，SK海力士位居全球市场份额首位。当前AI高景气不断驱动HBM需求高增，持续推动HBM位元出货量和产值同步增长，根据Yole 预测数据，预计2025年全球HBM位元出货量和行业产值将分别达到17亿GB和199亿美元。竞争格局方面，根据TrendForce数据，以位元出货量作为统计口径，2023年全球HBM市场中，SK海力士和三星的市场份额各占47.5%左右，而美光份额约为5%。随着HBM3e的率先推出及放量，预计2024年SK海力士的市场份额将增加至52.5%，而三星的市场份额将下降至42.4%。为了满足持续增长的HBM需求，三大原厂纷纷加大资本开支扩建HBM产能，其中，三星和SK海力士的产能扩充最为积极，预计到2024年底，三星HBM总产能将达约13万片/月，SK海力士约12万片/月，而美光仅为2万片/月。 TSV为HBM核心制备工艺，混合键合将成未来主流堆叠技术。HBM主要采用TSV技术将多个DRAM芯片进行垂直堆叠，并与GPU一同进行封装，形成大容量、 高位宽的DDR组合阵列，从而克服单一封装内的带宽限制。在加工制造过程中，TSV是HBM实现芯片垂直堆叠的核心制备工艺，占封装成本达30%。而从当前原厂采用的封装技术来看，三星主要采用TC-NCF技术，而SK海力士则通过AdvancedMR-MUF技术并结合改良EMC材料来进行HBM的封装生产，在改善散热方面具有明显优势。考虑到未来因带宽、容量增长所带来的堆叠层数及密度提升，SK海力士将利用混合键合技术来加工生产HBM4。混合键合摒弃了无凸块设计并采用直接铜对铜的连接方式，相较微凸块技术，能够在进一步提升互联密度的同时实现功耗降低，有望成为未来HBM主流堆叠技术。 投资建议：当前AI算力持续高景气背景下，HBM作为AI硬件、系统提升算力性能的重要内存技术，市场需求呈现强劲增长态势。另外，根据美光数据，同一节点/容量条件下，HBM3e的产能消耗是DDR5三倍，同时考虑到TSV、MR-MUF等先进封装技术对半导体设备、材料、封测环节的高标准要求，以及当前原厂 积极扩产计划，相关产业链有望持续受益。半导体材料方面，建议关注雅克科技、联瑞新材、华海诚科；半导体设备方面，建议关注精智达、赛腾股份、长川科技；封测端则建议关注通富微电、深科技；同时建议关注SK海力士重要经销商香农芯创。 风险提示：国产化替代不及预期风险；国内厂商对先进技术的研发进程不及预期风险；供应链风险上升。 目录CONTENTS 高带宽存储需求激增，HBM为AI时代首选内存技术 TSV为HBM核心工艺，混合键合将成未来主流 SK海力士全球领先，三星、美光奋起直追 投资建议和风险提示 当前诸如GPT-3等AI大模型所要求的算力日益提升，伴随着的是参数数量呈现指数级增长，为了计算及处理如此庞大规模的数据量，数据中心和边缘设备需要配套持续提升计算性能和降低功耗，随着对GPU/CPU高负载工作频率需求不断增长，传统的内存带宽限制了硬件以及系统的最大性能，为了释放AI加速器最佳的硬件性能，市场急迫需要更高带宽的内存解决方案。从DRAM主流细分产品的带宽发展来看，HBM（HighBandwidthMemory，高宽带内存）自身的内存带宽以及带宽提升速度均大幅领先于其他DRAM产品，有望成为AI时代中最重要的内存技术之一。 训练Transformer模型的计算要求内存带宽发展历程 AI时代下高带宽存储需求激增，HBM技术正步入快速发展阶段。HBM（HighBandwidthMemory，高宽带内存）采用硅 通孔（TSV）技术将多个DRAM芯片进行堆叠，并与GPU一同进行封装，形成大容量、高位宽的DDR组合阵列，从而克服单一封装内的带宽限制。相较于传统DDR内存，HBM具有高带宽、低功耗、低延时等优势，已成为当前高性能计算、人工智能等领域的首选内存技术。以英伟达H100SXM5为例，其集成了6颗HBM3，总容量达到80GB，内存带宽超3TB/s，是A100内存带宽的2倍。 常规HBM产品内部结构英伟达H100配置了6颗HBM HBM内存 GPU核心 HBM内存 当前HBM产品已经发展至第五代，HBM4最早有望于2025年提前发布。第一代HBM产品由SK海力士于2014年发布，此后每一代HBM的 升级更迭，在内存带宽、I/O速率等方面都迎来明显提升，当前HBM已发展至第五代（HBM3e），容量最高可达36GB，内存带宽已提 升至1.2TB/s，I/O速率最高可达9.2Gbps。另外，考虑到当前HBM需求的火爆程度，SK海力士计划提前一年在2025年发布HBM4。 根据TrendForce数据，2022-2023年全球HBM市场主要以HBM2e为主，随着HBM3的发布以及持续放量，预计2024年市场需求将向HBM3 转移，HBM3将替代HBM2e成为市场主流HBM产品，市占率有望由2023年的39%提升至60%。 HBM产品发展历程 HBM HBM2 HBM2E HBM3 HBM3E HBM4 核心供应商 SK海力士 SK海力士、三星 SK海力士、 三星、美光 SK海力士、三星 SK海力士、 三星、美光 SK海力士、 三星、美光 首款产品发布年份 2014年 2018年 2020年 2022-2023年 2024年 2025-2026年 芯片密度 2Gb 8-16Gb 16Gb 16Gb 24Gb 24-32Gb 工艺制程 2x 2y/2z 1y/1z 1z 1a/1b/1β 1b/1β/1c/1γ 内存带宽 128GB/s 307GB/s 460GB/s 819GB/s 1.2TB/s ≥2TB/s 堆叠高度 4层 4-8层 4-8层 8-12层 8-12层 12-16层 主要封装技术 TSV&Microbumps TSV&Microbumps TSV&Microbumps TSV&Microbumps TSV&Microbumps Cu-CuHybridBondingfor16Hi I/O速率 1Gbps 2-2.4Gbps 3.2-3.6Gbps 5.6-6.4Gbps 8.0-9.2Gbps ≥9Gbps 容量 1GB 4-8GB 8-16GB 16-24GB 24-36GB 36-64GB 展望未来，从英伟达和AMD主力GPU产品的迭代进程以及搭载HBM规格规划来看，一方面，预计24H2出货的英伟达H200将取代H100成为主流，包括后续推出的GB200及B100，均将采用HBM3e，将推动市场逐步由HBM3向HBM3e升级。另一方面，为了提升AI服务器整体运算效能及系统频宽，HBM产品的堆叠层数及容量将随着产品更迭而持续提升，以英伟达B200及AMDMI375为例，预计两款GPU新品将搭载12hi288GB规格的HBM3e。 NVIDIA及AMDAI芯片发展进程及HBM规格比较 生成式AI的快速发展，不断加速提升数据中心对HBM技术的需求。当前AI高工作负载不断驱动对更高带宽内存的需求，以提升硬件设备和处理单元之间的数据传输速率，HBM作为当前AI领域首选的高带宽内存技术，近几年的市场需求呈 现快速增长态势。根据Yole预测数据，2023年全球HBM位元出货量达4.78亿GB，预计2025年将增加至17亿GB，2023-2025年CAGR达88.36%。产值方面，2023年全球HBM行业产值达55亿美元，预计2025年将增长至199亿美元，2023- 2025年CAGR达90.22%。 2023-2025年HBM位元出货量情况2023-2025年HBM产值情况 1800 1200 600 位元出货量（百万GB）同比（%，右轴） 160%25 120%20 15 80% 10 40%5 产值（十亿美元）同比（%，右轴） 180% 120% 60% 00%00% 三大原厂不断扩充HBM产能，三星和SK海力士最为积极。HBM产能方面，根据TrendForce数据，三星和SK海力士的产能扩充最为积极，预计到2024年底，三星HBM总产能将达约13万片/月，SK海力士约12万片/月，而美光仅为2万片/月。 三大HBM供应商中，SK海力士位居全球份额首位。根据TrendForce数据，以位元出货量作为统计口径，2023年全球HBM市场中，SK海力士和三星的市场份额各占47.5%左右，而美光份额约为5%。随着HBM3e的率先推出及放量，预计2024年SK海力士的市场份额将增加至52.5%，而三星的市场份额将下降至42.4%。 各供应商HBMTSV产能预测（单位：千片/月）HBM市场份额情况（按位元出货量） 140 120 100 80 60 40 20 0 2023年底2024年底 SK海力士三星美光 100% 80% 60% 40% 20% 0% 目录CONTENTS 高带宽存储需求激增，HBM为AI时代首选内存技术 TSV为HBM核心工艺，混合键合将成未来主流 SK海力士全球领先，三星、美光奋起直追 投资建议和风险提示 0 HBM加工制造流程主要包括前端晶圆制造加工，以及后端Bumping、Stacking和KGSD测试环节。其中，相较于平面 DRAM的制造流程，TSV（硅通孔）技术是HBM实现芯片垂直堆叠的核心工艺。 HBM产品加工制造流程 混合键合（HybridBonding）有望成为未来HBM主流堆叠技术。当前市场主流的HBM堆叠技术主要以TCB（Thermo- CompressionBonding，热压键合）和MR-MUF（MassReflow–MoldedUnderfill，批量回流焊）工艺技术为主，其中，SK海力士从HBM2e起便开始采用MR-MUF堆叠技术来缓解芯片垂直堆叠带来的散热问题，考虑到HBM对于堆叠高度以及散热的要求，SK海力士预计将采用混合键合技术生产HBM4。 HBM堆叠技术发展趋势 TSV技术是一种通过在硅芯片内部钻孔形成垂直贯通的电极并将多个芯片垂直3D堆叠的封装方法。传统的引线键合技术随着 堆叠层数和连接引脚的增加会使得布线变得愈发复杂，而TSV结合微凸点的封装技术可以在有限垂直空间内实现更大的芯片 堆叠密度，促使信号传输路径明显缩短，因此可以同时达到提高带宽和降低功耗的作用。 TSV环节在HBM封装工艺中价值量占比最高。根据3DinCites数据，在99.5%键合良率的HBM（4层DRAM+1层逻辑）的BOM成本中，TSV创建和TSV暴露合计价值占比达30%，为HBM封装工艺中价值量占比最大的环节，其次是前端制程和后端制程，价值量占比分别达20%、20%。 应用TSV技术的芯片剖面图SoC与采用TSV堆叠的SiP信号传输路径长度比较 MR-MUF技术主要通过回流焊将多个芯片粘合在一起，并在芯片之间使用液态EMC材料进行间隙填充。与传统TC-NCF工艺相比，MR-MUF具有