丹尼尔·尼什巴勒,迈隆·谢,伊万·张 AI代币工厂经济栈 H200 拥有成本总览 加速器路线图 – GPU内容增加 NVIDIA GPU封装的演进 HBM概述 – 英伟达路线图 AI代币工厂经济栈 AI三元组权衡:延迟与吞吐量 人工智能三元组权衡:延迟与成本 AI代币工厂经济栈 亚太地区是ChatGPT最大的区域。 印度在亚洲拥有 ChatGPT 最大的月活跃用户数…… ...但它在该地区的用户渗透率却是最低的! 推理需求分析框架:关键要素 •人口•月度平均用户渗透率•日活跃用户数与月活跃用户数比率•每日查询量•每条查询的令牌数•推理系统吞吐量•每张GPU的全面关键IT电力 代币需求辩论:每代币成本趋势 需求Token的争论:杰文斯悖论正在起作用! 推理需求分析——宽泛估计 推理需求分析 推理需求分析 人工智能在行动:消费者、企业和政府 推理需求分析 数据中心架构 - AI训练集群 •1GW 训练集群已开始建设 美国数据中心集群——220兆瓦,图片所示… 星际之门——2028年实现2吉瓦 谢谢!