算力专家交流纪要-20240129

算力专家交流纪要 1、头部大厂模型水平逼近GPT3.5，各家厂商积极布局追赶GPT4。预计gpt4.0所需算力为4-5万P，是gpt3.5的约10倍。智谱的大模型距离 4.0还有较大差距。 2、推理端的AI算力需求也持续上升。去年第四季度以来，上线的产品的日活用户数在稳定增长，导致推理需求也显著提升，商汤月需求大约每月增长15%。对于绘图、视频生成及相关AI技术的需求上升显著。 3、云算力租赁：云算力的租赁价格相对去年10月份有10%到15%的上涨。大厂A100以上的卡基本不出租了。提供A/H卡租赁的厂商涨价幅度比较大，近2个月涨了20%。目前8卡A100卡的服务器租金约为9万/月，大客户年付费会打6-7折（约为12万/p/年），大客户H卡年付费来看约为10万/p/年。 4、国产算力情况： 昇腾卡：910B卡的理论计算值接近英伟达A100，但稳定性和软件生态系统还无法与英伟达相提并论。等待910C来提升算力和解决互联问题。H的产能本身受限，目前市场上获取这些卡相对困难。 5、H20卡的情况 英伟达卡：H20显卡的算力基本上相当于H800的1/12。单卡算力的测试结果与此一致，但多卡加速比可能优于A100显卡。H20的售价可能达到H800的70%左右，H20的性价比严重低于H800。 6、商汤的卡：公司主要存量约有4万张，以A100、V100和H800三个型号为主，其中A100的数量最多，超过1万块。H800在小几千张；其余都是V100z新订的卡由于美国合规性问题，去年Q4至今基本上没有新卡到货。