AI行业跟踪报告第26期：HBM产业链和先进封装产业链梳理

HBM产业链和先进封装产业链梳理 ——AI行业跟踪报告第26期 作者： 刘凯执业证书编号：S0930517100002于文龙执业证书编号：S0930522100002 2023年12月16日 证券研究报告 目录 1、英伟达发布H200，HBM3e是核心变化 2、HBM需求高速成长，龙头海力士MF-MUF技术是核心工艺 3、先进封装大势所趋，CoWoS是产业链瓶颈 4、投资建议：关注HBM供应链与先进封装供应链投资机会 5、风险提示 请务必参阅正文之后的重要声明2 根据芯智讯信息，英伟达（Nvidia）于北美时间2023年11月13日上午在“Supercomputing23”会议上正式发布了全新的H200GPU，以及更新后的GH200产品线。 H200依然是建立在现有的HopperH100架构之上，但增加了更多高带宽内存（HBM3e），从而更好地处理开发和实施人工智能所需的大型数据集，使得运行大模型的综合性能相比前代H100提升了60%到90%。而更新后的GH200，也将为下一代AI超级计算机提供动力。 图表1：英伟达全新H200GPU 3 请务必参阅正文之后的重要声明 资料来源：芯智讯 对比H200与H100的规格，H200主要负责计算能力的核心单元部分规格并没有改变，算力规模完全一致，所带来的提升只是显存容量从80GB提高到了141GB，显存的规格从原本的HBM3升级到了HBM3e。 图表2：英伟达生态日益完善 图表3：英伟达H200与H100比较 资料来源：中国电子报 请务必参阅正文之后的重要声明4 资料来源：英伟达公开路演PPT《ndr_presentation_oct_2023_final》 由于H200本身算力部分并没有变化，因此换用H200并不会对AI大模型的训练速度产生更好的影响，以训练175B大小的GPT-3举例，同规模的 H200大概只比H100快10%左右。 H200主要的提升之处在于"推理”：推理对于算力的需求并不高，限制反而在于单芯片的显存大小以及显存带宽，如果应用到多GPU的互联，那么信息通信的带宽反而会不够。即便如NVLink提供的900GB/s的数据通信速度，也无法媲美单卡内部超过3TB/s的速度，更不用说换了HBM3e显存后高达4.8TB/s的性能。更大的单卡显存容量也能有效减少跨卡访问的次数，算是一种变相的效率提升。 买的越多，省得越多。随着当前AI大语言模型逐步迈向应用化，计算任务的重心已经由早期的训练模型转变为应用端的推理行为。而H200对 比H100的推理能耗直接减半，极大降低了使用成本。 图表4：英伟达H200与H100的大模型应用性能比较 请务必参阅正文之后的重要声明 资料来源：英伟达、镁客网、网易新闻 图表5：英伟达H200和H100的成本和能耗比较 5资料来源：英伟达、镁客网、网易新闻 图表6：英伟达GPU产品路线图 请务必参阅正文之后的重要声明6 资料来源：英伟达公开路演PPT《ndr_presentation_oct_2023_final》 H200的141GB内存，与H100的80GB相比直接提升76%。作为首款搭载HBM3e内存的GPU，内存带宽也从3.35TB/s提升至4.8TB/s，提升43%。在HBM3e加持下，H200让Llama-70B推理性能几乎翻倍，运行GPT3-175B也能提高60%。 H200与H100完全兼容，意味着将H200添加到已有系统中不需要做任何调整。 141GB内存的原因：AnandTech分析HBM3e内存本身物理容量144GB，由6个 图表8：英伟达H200参数 24GB的堆栈组成。出于量产原因，英伟达保留了一小部分作为冗余，以提高良品率。 H200预计在2024年第2季度上市，但H200只存续半年。在2024年的第4季度，基于下一代Blackwell架构的B100也将问世。 图表7：英伟达各款GPU在GPT-3大模型的运行比较 请务必参阅正文之后的重要声明7 资料来源：英伟达、量子位、新浪微博 资料来源：英伟达、量子位、新浪微博 英伟达是设计公司，并不直接生产芯片，它需要请台积电生产芯片，从其他公司采购高性能内存，再交给供应商组装成一张卡。一颗H100的成本约3000美元，而英伟达卖30000多美元，翻十倍。 H200的141GB内存，与H100的80GB相比直接提升76%。作为首款搭载HBM3e内存的GPU，内存带宽也从3.35TB/s提升至4.8TB/s，提升43%。在HBM3e加持下，H200让Llama-70B推理性能几乎翻倍，运行GPT3-175B也能提高60%。 英伟达向台积电下订单，用4纳米的芯片产线制造GPU芯片，平均每颗成本155美元。 英伟达从SK海力士（未来可能有三星、美光）采购六颗HBM3（HighBandwidthMemory，高带宽内存）芯片，成本大概2000美元。这是因为GPU处理大模型任务，还需要搭载比手机、电脑更大、数据传输速度更快的内存，才能保证效率。 台积电芯片产线生产出来的GPU和英伟达采购的HBM3芯片，一起送到台积 电CoWoS封装产线，以性能折损最小的方式加工成H100，成本大约723美元。 H100被送到其他英伟达的供应商处，4颗或8颗组装在一起，加上数据传输单元， 做成服务器。 请务必参阅正文之后的重要声明8 图表9：英伟达H100成本结构 资料来源：TheInformationNetwork、LatePost 目录 1、英伟达发布H200，HBM3e是核心变化 2、HBM需求高速成长，龙头海力士MF-MUF技术是核心工艺 3、先进封装大势所趋，CoWoS是产业链瓶颈 4、投资建议：关注HBM供应链与先进封装供应链投资机会 5、风险提示 请务必参阅正文之后的重要声明9 2023年11月14日，SK海力士副会长兼联席CEO朴正浩透露，2023年海力士高带宽内存（HBM）出货量大幅增加，预计到2030年将达到每年1亿颗。 图表10：AI服务器将驱动DRAM需求大增 请务必参阅正文之后的重要声明10 资料来源：海力士公开路演PPT《hynixTechSeminar（2023）》 图表11：海力士在HBM3和DDR5全球市场份额第一名 资料来源：海力士公开路演PPT《hynixTechSeminar（2023）》 请务必参阅正文之后的重要声明11 2、内存的不断进化推升HBM需求的兴起 图表12：内存的不断进化推升HBM需求的兴起 请务必参阅正文之后的重要声明12 2、什么是HBM 图表13：HBM带宽和功耗比较 请务必参阅正文之后的重要声明13 2、海力士是AI存储芯片HBM的领导者 图表14：海力士是AI存储芯片HBM的领导者 请务必参阅正文之后的重要声明14 2、HBM制造流程 图表15：HBM的制造流程 请务必参阅正文之后的重要声明15 图表16：海力士HBM的优势 请务必参阅正文之后的重要声明16 图表17：MR-MUF流程：MassReflow（回流焊） 请务必参阅正文之后的重要声明17 图表18：MR-MUF流程：MassReflow（回流焊） 请务必参阅正文之后的重要声明18 图表19：MR-MUF流程：MoldedUnderfill（模塑底部填充） 请务必参阅正文之后的重要声明19 图表20：MR-MUF工艺与TC-NCF工艺比较 请务必参阅正文之后的重要声明20 图表21：海力士MR-MUF工艺的竞争力 请务必参阅正文之后的重要声明21 图表22：海力士HBM产品路线图 请务必参阅正文之后的重要声明22 目录 1、英伟达发布H200，HBM3e是核心变化 2、HBM需求高速成长，龙头海力士MF-MUF技术是核心工艺 3、先进封装大势所趋，CoWoS是产业链瓶颈 4、投资建议：关注海力士HBM供应链与先进封装供应链投资机会 5、风险提示 3、先进封装之WLP 晶圆级封装(WLP)的一般定义为直接在晶圆上进行大多数或是全部的封装制程，之后再进行切割成单颗组件，显然WLP封装可以将封装尺寸减小至die晶片的尺寸，成本大幅下降。主要优势有： 1、封装效率高，以整个wafer粒度进行批量的封装工艺； 2、具有Flip-chip的优点，即轻薄、尺寸小； 3、晶圆级使得wafer制造、测试、封装整个过程一体化，减少中间环节，周期大大减少，成本也必然降低； 4、封装成本与wafer上的芯片数量和良率成反比，数量越多、良率越高，封装成本越低。 图表23：传统封装与WLP封装的区别 资料来源：Wafer-LevelPackaging-BrewerScience 晶圆级封装一般需要RDL工艺（Re-distributedlayer，重布线层），因为晶圆上的焊盘大部分是铝焊盘，无论是做晶圆级封装还是板级封装，铝金属不易做后续处理，都需要用另外的金属来覆盖铝。RDL是将原来设计的芯片线路接点位置(I/Opad)，通过晶圆级金属布线制程和凸块制程改变其接点位置，同时满足焊球间最小间距的约束。RDL的优势还有： 1.首先是芯片设计者可以通过对RDL的设计代替一部分芯片内部线路的设计，从而降低设计成本； 2.采用RDL能够支持更多的引脚数量； 3.采用RDL可以使I/O触点间距更灵活、凸点面积更大，从而使基板与元件之间的应力更小、元件可靠性更高； 4.RDL层使用了高分子聚合物(Polymer)为基础的薄膜材料来制作，可以取代封装载板，节约成本； 5.RDL还可以把不同种类的芯片连接在一起，实现多芯片封装互连。 图表24：RDL提供更薄更精细的互联走线层 资料来源：YoleDevelopment;Manz(2021) 类似于IntelEMIB技术，RDL+LSI（LocalSiliconinterconnect），达到极致互连带宽和成本的折中。 图表25：TSMCCOWOS-L示意图 资料来源：半导体行业观察 目录 1、英伟达发布H200，HBM3e是核心变化 2、HBM需求高速成长，龙头海力士MF-MUF技术是核心工艺 3、先进封装大势所趋，CoWoS是产业链瓶颈 4、投资建议：关注HBM供应链与先进封装供应链投资机会 5、风险提示 HBM供应链建议关注：神工股份、赛腾股份、联瑞新材、香农芯创、壹石通、雅克科技、雅创电子、方邦股份等。 先进封装供应链建议关注：（1）设备：光力科技、北方华创、盛美上海、芯綦微装、芯源微、大族激光、新益昌、至正股份、中科飞测、长川科技、华海清科等；（2）材料：上海新阳、联瑞新材、华海诚科、德邦科技、飞凯材料、强力新材、路维光电、清溢光电、安集科技、晶瑞电材、江丰电子等：（3）载板：兴森科技、华正新材、南亚新材、生益科技、沃格光电。 图表26：HBM供应链股票池 证券简称 总市值 （亿元） 营业收入（亿元） PS 归母净利润（亿元） PE 22A 23E 24E 25E 22A 23E 24E 25E 22A 23E 24E 25E 22A 23E 24E 25E 联瑞新材 99 6.62 7.44 9.29 11.40 15.0 13.4 10.7 8.7 1.88 1.97 2.61 3.29 53 50 38 30 神工股份 59 5.39 1.82 3.54 5.44 11.0 32.8 16.8 10.9 1.58 -0.13 0.88 1.62 38 - 67 37 香农芯创 157 137.72 143.29 158.97 177.76 1.1 1.1 1.0 0.9 3.14 3.37 3.89 4.51 50 47 40 35 壹石通 60 6.03 5.97 8.70 12.18 9.9 10.0 6.8 4.9 1.47 0.76 1.49 2.32 41 78 40 26 雅克科