AMD vs NVIDIA芯片专家交流纪要–20230602

1、单颗芯片对比： AMDMI300出来前，产品MI200和MI250和英伟达(393.270，-4.430，-1.11%)的A100和H100还是有差距。但差距在MI300出来有改变，单颗GPU相对H100提升25-30%，2-4颗协同提升50%，4-8颗小集群有2X提升。 2、市场： 英伟达很早布局。 市场占有率方面，AMD和英伟达有很大差距，MI300出来前，硬件有差距。 软件生态差距更大，很多上层模型都是基于cuda的，developmenttool+library+compile+programmodel会有很大依赖性，不改变 library突然切到amd有风险。 这两年有变化，amd的softstake很好兼容加速算子、加速库，不需要对模型本身进行调整，硬件性能也在提升。未来来讲，HPC主要是训练，但是现在生成式AI，对推理需求越来越高，未来几年走势都是这个方向。 3、MI300推出时间产能和价格？ 时间：目前还是和大客户做大集群部署过程，小集群已经有很完整数据。未来几个月针对大语音模型的完整数据也会出来。面向市场和客户会在Q4。 产能：4Q预计10w片tapeout。 定价：和之前一致，走性价比，价格不会比H100贵。 4、能否供应中国市场？ 不能。MI300远远高于禁止标准，IO接口和计算性能。国内会有改进版本MI388，针对IO做reduction。 5、AMDGPU国内合作伙伴？ 非常多联系，很多客户对MI388感兴趣，尽量4季度出来。阿里百度腾讯字节都非常感兴趣。 6、PYtorch支持更多的GPU，怎么看待对CUDA挑战？ 会有一定影响，但是CUDA有自己护城河。和硬件层面非常贴合，cuda还有compiletool，softstake是很多层级的生态，cuda有先天优势的。这个东西完全移植过去，有稳定性和性能问题。 但amd能兼容每一级，对cuda来讲，护城河已经不是那么绝对了。客户的上层模型参数可以不做任何调整直接从英伟达的卡迁移到AMD上。 ROCm能兼容每一个层级softstake，同时也能保持稳定性上的同时，提升性能很多客户不想被nvdia深度绑定，所以会选择AMD。intel如果也有softstake，会有进一步影响。cuda现在不像之前那样坚不可摧。 7、MI300架构问题，3Dchiplet2.5t/s传输速度？ CPU+GPU合封在一起不叫MI300，叫instinct300，是个system。 instinct300把3个zen4的core，每个core8个核，总共24个core，还有6颗MI300die封在一起。 AMD有优势，以前一直在做APU（PC的），CPU和GPU一直封在一起，互相sharecache和dram，所以AMD芯片通信技术是行业最好的。AMDgpu都可以和CPU封在一起，pc上卖的主要产品，MI300也是基于pc上面的方案，共享dram，所以CPUGPU传输速度非常快。 8、Gracehoppernvlink，MI300怎么做集群？ AMD有自己片间互联的技术，infinityfabric，速度也能到900GB/s，和H100速度一样。H100pcie可以到600gb，如果nvlink是 900gb。 9、显存容量不一样？ Instinct300总共封了8个HBM，显存量要大不少，24gb一个，192gb容量，速度可以达到5.2tb/s。 H100显存80gb（5*16gb）。所以MI300参数要比H100好不少。 10、做生态兼容，劣势主要是哪些？ ROCm兼容CUDA，工具+编译模型等能做到100%的兼容，这也是amd能说服客户迁移的原因。但是如果一直只是做兼容，CUDA会持续迭代，ROCm需要一直follow英伟达，如果达不到很吃亏。长期看，一直跟着别人走做兼容，对企业而言肯定不少好的事情。 其他厂商，尤其是国内兼容cuda水分更大。AMD花了6-7年做兼容这件事。 AMD不会一直只是做兼容，也在和关系密切客户（微软(335.400，2.820，0.85%)？）开发softstake，重新合作开发软件，rocm数据和库，基于AMDmi硬件做加速，这个是AMD长期要做的事情。 目前是为了争取客户和抢占市场，硬件做很好了，希望你能用起来，也不想要客户做上层参数调整，直接签过了就用，便宜之技，长期ROCm一直会自己开发。 11、兼容和自行开发是怎么做的？ 技术角度来讲，不管兼容还是自己开发，rocmsoftstake这些，都是要自己做。中间很多加速的库，这些库兼容nvdia的时候，也有共用的library可以自己拿出来共用，可能就是基于cuda的加速架构是什么的program方式，我们需要支持你的时候，核心里面很多东西可以基于我们的MI硬件的。核心库的加速是可以通用，只要interface和api兼容就可以。 关系紧密的大厂，微软meta都可以做重构，和客户一起合作开发，我们和软件工程师和他们工程师一起，建立自己失态。和之前游戏一样，说服游戏大厂基于自己的显卡开发，要派出自己的软件工程师帮助开发软件工具。 12、大型客户需求主要是大模型，我们自己建立生态系统的过程中，主要是哪些项目？ 以前运行比较好的大模型，AMD争取客户方式主要是做兼容方式，底层硬件性能非常好了。对于在on-going的application，会建立自己生态，amd会派出自己的软件工程师帮忙。很多客户愿意帮助AMD建立生态，核心也不是让一家厂商卡脖子。 13、大厂也在做芯片，怎么看这个？ 国内外大厂都在做。但是这些厂商更多是做替换式的，比如上面的bu希望达到什么样的model，芯片更多是为了自己特定应用场景的加速。但如果做不到通用，只能做很小场景，而且这样和amd和nvdia还有很大差距。所以amd和nvdia并不担心这个事情。 整个大的AI市场还是非常大，非常乐观的。 14、推理需求越来越大，会对产品有什么影响？ 未来应用场景和应用端，训练很多了，之后推理需求越来越大。后面产品对应推理算力迭代会做更多优化。推理每年30-40%增长，我们会对这方面做优化。 15、英伟达明年B100？目前竞争态势？ MI300是针对H100的产品，GH200可能是针对MI300。 英伟达下一代产品出来，也不用太担心。AMD还有很多产品，下一代MI产品已经进入非常尾声阶段，很快会给回应。赛灵思在AI领域有自己的生态，和AIE。AIE有软件生态，我们会把这个aie和我们整合，我们还是非常乐观的。 16、MI300产能？ cowos产能，因为MI300四季度出来，前三季度非常少，4Q会有5000-6000片。MI300硬件架构比H100强是有更多的计算单元，die大25%。 1个wafer切20片，就10w片。明年全年50w颗出货量。英伟达130-140w。 17、良率？ chiplet做后，良率提高很多。18、光和电？ 现在更多是光模块，我们基本都是光模块。 19、MI300性能很好，GH200推出来应对，300系列兼容性提升很多，但是和英伟达自己比还是有差距，想知道1美金资本开支，买MI300还是 GH200？ PERF/美金概念。MI300和H100对比，我们在各种计算上，单颗卡可以达到25-30%性能提升（成本和power一致）。2-4颗是50%，8颗2倍提升。 Instinct300和GH200都是系统，可以对比。 20、推理需求占比会更高，大厂方案收敛后，自己推理需求起来，会提高自供比例，怎么看这个问题？ 未来几年训练会转到推理，未来推理CAGA30%增长。我们会在卡上做优化，尤其是推理上做solution，因为对算子矩阵运算需求是不一样。大厂芯片迭代速度也没我们快。 21、产能规划60万颗备货有多少意向订单？ 4Q美国超算中心有很大量，instinct300solution，占比40%。微软和meta也有很大比重。基本上有很大确定性。国内MI388这边我们也比较乐观。 量我们是基于客户的意向订单+AI行业反正趋势做的评估。