HBM内存专家交流纪要–20231121

Q：HBM和GDDR有什么区别？HBM有何优势？ A：HBM是一种内存产品，可以理解为与CPU或SOC对应的内存层级，更靠近CPU或SOC因此延迟更低。而GDDR是一种通用内存，相比HBM，其容量较小、位宽低且远离CPU或SoC。对于HBM而言，密度更高，一般来说单层容量可达2gbit；传输速度快，一般为5.6GT/s；同时离CPU或SoC更近，从而延迟较低。 Q：HBM和GDDR有什么区别？HBM有何优势？ A：HBM是一种内存产品，可以理解为与CPU或SOC对应的内存层级，更靠近CPU或SOC因此延迟更低。而GDDR是一种通用内存，相比HBM，其容量较小、位宽低且远离CPU或SoC。对于HBM而言，密度更高，一般来说单层容量可达2gbit；传输速度快，一般为5.6GT/s；同时离CPU或SoC更近，从而延迟较低。 Q：GDDR可以支持较多的通道数，因为它离CPU或SOC较远？A：是的，由于有更多的空间可以放置更多的GDDR。Q：存储带宽不够导致计算能力下降？ A：存储带宽是可以改善的，需要比较HBM3和HBM3E之间的特性差异相比HBM3，HBM3E的传输速度提高了。从这点看，HBM3E传输速度比HBM3快。至于H200，还有一段发展空间，包括提供更好的带宽能力和更低的功耗。 Q：GDDR与HBM之间有什么区别？HBM如何封装？ A：HBM无需额外填充，可以直接提供给客户。而GDDR需要用某种填充物进行封装，不能以晶粒的形式存在。 Q：是否为HBM产品添加了环氧塑封？A：在晶片内就已经进行了统一处理，而不是单独处理Q：CPU和GPU都采用了HBM，会影响内存需求吗？A：CPU和GPU对HBM的需求是独立的。 Q：HBM是否可以用于手机等设备？A：HBM也可以在手机和其他移动设备上使用Q：为什么使用HBM？ A：英特尔等公司已经开始尝试将HBM集成进SC中以提高性能。 Q：HBM的技术问题和大规模生产方面面临什么挑战？A：目前是自主研发，但在未来可能采取共享逻辑的方式。大规模生产方面还在探索中。Q：HBM在哪些应用领域有更大发展潜力？ A：HBM有可能在推理领域有更大的应用空间。 Q：AI训练芯片是否主要使用HBM？ A：AI训练芯片主要使用HBM，但部分公司可能会寻求更高效的性能或较低的投资，从而采用其他性能较差的产品。Q：所有AI芯片制造商都会选择使用HBM吗？ A：是的，例如英伟达、AMD、Google、阿里巴巴、海思、寒武纪、嘉合等也会选择HBM作为解决方案。Q：如何评估HBM市场的规模？ A：可以基于AI模型的处理能力和数据吞吐量估计HBM的市场需求。此外还可以关注英伟达的计划，因为其市场份额很大。 Q：AI芯片制造商是否会采用类似英伟达H100H200那样的解决方案？ A：并非所有AI芯片制造商都会选择这样的方案，因为他们的技术尚未达到与英伟达相当的水平。 Q：HBM的成本结构如何？ A：DRAM占比约为70%，TMSV等也占据了一定的成本。 Q：除了英伟达，其他公司需要使用EY世代DRAM制造HBM吗？ A：使用早期的DRAM技术可能会限制产品性能，所以使用100纳米以下的技术更为合话国内厂商有一定的技术积累，但具体产品性能仍待观察。 Q：国内的HBM产业有哪些进展和展望？ A：目前尚不清楚，但是可以从设备、工艺、硅中介等角度着手进行研发。Q：为什么HBM产量小？A：缺乏早年的市场份额，与其他产品相比，普及度较低。 Q：HBM是否是通用的标准？A：是一种通用标准，但不同公司可能会有自己的特色，需要根据具体需求定制产品。Q：会出现第二个供应商吗？ A：随着市场竞争和多样化的需求，可能会出现第二供应商。但目前HBM产品较少，市场尚未稳定。 Q：HBM的瓶颈在哪里？ A：HBM市场的瓶颈在于投资、设备和制造等成本因素Q：HBM的市场规模如何？ A：目前市场规模较小，约占5%-10%。但HBM有较大的增长潜力，预计未来几年将提升至40%-60%，甚至更高。Q：TSV的成本有哪些？A：关于具体的生产情况我不太了解，因为涉及非常前期的设计和产品开发以及设备等方面不太了解成本细节。Q：中国有哪些公司生产HBM？ A：主要是韩国公司，如三星、SK海力士等。国内厂商长电和华天也开始从事相关业务。Q：HBM有哪些分销渠道？A：如江波龙、海力士和其他代理商。它们提供的价格和服务各不相同。Q：分销渠道是否有排他性协议？ A：不排除有这样的情况，但一般不会有排他性协议。Q：HBM的制造工艺有哪些特殊要求？ A：通常采用硅通孔技术，需要多层堆叠，并且每层之间有通孔连接。Q：国内是否有针对HBM的解决方案？ A：目前没有，需要解决HBM的大带宽问题。 Q：HBM在市场中的占比如何？A：现在占市场份额约50%，主要用于AI加速卡等场景。Q：英伟达采用的是哪种HBM产品？A：英伟达采用的是自己的封装技术，并没有采用其他公司的封装产品。Q：HBM封装与其他DRAM有什么不同？ A：带宽是相同的。Q：制程和层数如何影响带宽？A：影响较小，主要是位宽和传输速率影响带宽。Q：为什么成本较高？ A：成本主要与原材料和技术有关，与硅片和研发成本有关。Q：学握TSV技术和生产HBM的能力是什么关系？A：拥有TSV技术即可制造HBM，但需要具备一定的技术实力。Q：制造环节的核心材料有哪些？A：可能是由一家公司供应材料，具体情况还不确定。 Q：国内HBM生产的进展以及何时量产？A：国内在生产和加工上有一定的基础，但受限于前期经验不足。预计在未来两年左右实现量产。Q：国内能够生产出接近国外的产品吗？A：只要具备相关技术就能制作相似的产品，但实际产品效果还需要等待时间验证。 Q：HBM的发展方向？ A：预计第一代主要集中在3代和3亿，并注重提高性价比和研发效率。预计后续发展的重点在于改变产品结构，并解决功耗问题。Q：功耗增加会导致散热问题吗？A：功耗过大将影响散热性能，因此需要控制在合理的范围内。通常通过降低速度等方式平衡功耗和性能。 Q：TSV工艺是否困难？ A：TSV很难控制品质和技术问题，也可能会影响到最终产品的功率。Q：HBM是否能满足更高效和高性能的诉求？A：可能会影响性能，但可以借鉴以前的经验进行优化。 Q：DDR5的不同之处是什么？ A：两者在实现原理上有明显的差别，由于通孔技术的原因，外形也不尽相同，另外HBM还需处理多次曝光等问题。而封装结构区别不大，外形的不同取决于具体规格。 Q：HBM技术的带宽与层数的关系？A：根据所需技术规格进行分层。一般来说，分两层或三层，256GB容量的可分三层。Q：请问HBM4的研发难度在哪里？A：技术要求增加许多倍数会提高设计难度，需要更换CPU端等关键技术。