Serebras架构与美国十万卡级AI集群发展趋势会议纪要

一、核心要点

1. 本次会议由国泰海通计算机研究员魏松主持，邀请海外云和AI算力专家分享Serebras架构、美国十万卡级AI集群发展情况，涵盖芯片技术、集群基建、网络架构等内容。
2. Serebras采用大晶圆芯片，算力存储整合后速度快于传统英伟达GPU，但单芯片内存仅44GB，远低于英伟达GB300单卡2.1TB HBM3，仅适用于AI推理解码环节，无法满足通用推理模型权重需求，软件生态亦弱于英伟达、AMD，大规模应用受限；其良率也构成商业化挑战。
3. 美国万卡及以上AI集群基建核心挑战为电力与散热，3层无损网络最大支持约3.6万卡形成独立集群，扩展需通过互联网连接；千卡集群为经济合理切块规模，约2.5兆瓦IT用量，仅德州等少数地区供电条件合适，南部炎热地区数据中心水耗约150升/兆瓦每小时，北部可采用闭式散热降低水耗。
4. 十万卡级集群通常供给单一客户或应用，暂不具备商业化可行性的百万卡级集群规模过大；主流构建方包括亚马逊、谷歌、微软等大型云服务提供商，英伟达授权超算合作伙伴及社会资本也参与建设。
5. 当前万卡级算力供不应求，GPT服务（GB300约5.1美元/卡每小时）、Token工厂模式的内部收益率超20%，回本周期短于3年，整租GPU可实现2.5-3年回本，Token售卖模式回本周期不到2.5年。
6. 长上下文推理可通过KV缓存卸载或向量数据库实现类无限窗口用户体验；海外推理与训练为同一体系，国内因芯片获取有限，常以高端芯片训练、小卡或国产卡推理，多卡推理易因内存、网络问题致性价比低。
7. 英伟达硬件毛利率超80%，占AI芯片市场绝对垄断地位，GB300每秒Token效率约1万、B300约9000，性能领先；谷歌、亚马逊自研芯片价格约为英伟达的25%，性价比承诺超英伟达40%-50%，价格约英伟达75%，AMD GPU单卡售价约1.5-2.2万美元，成本占比65%-70%，为竞争候选。 二、投资线索
8. 美国云厂商自研芯片成本低，性价比突出，对应投资机会可关注相关领域布局。
9. AI集群相关基建、散热等配套设施因美国电力散热约束，具备投资空间。
10. 高回本周期的Token服务模式、算力租赁业务，伴随万卡级算力供不应求，存在投资机会。 三、风险与关注
11. Serebras芯片内存、软件生态、良率等问题制约其商业化应用，大规模落地不确定性高。
12. 美国AI集群基建受电力、环保约束大，建设推进节奏慢于国内，成本压力较高。
13. 英伟达AI芯片市场垄断地位稳固，新兴芯片厂商生态弱势，替代难度大。
14. AI大语言模型训练向10万亿参数推进，面临数据墙问题，架构优化难度大，玩家减少。