-
AI 驱动 CPU 需求激增:在 AI 时代,CPU 在模型训练和推理领域的需求显著增长,尤其在训练阶段,已有较大且持续增长的需求。CPU 性能与效率的优化成为行业关注焦点,不同公司如 Intel、AMD 和 ARM 等在 AI 领域的竞争日趋激烈。
-
CPU 在 AI 训练和推理中的角色:
- 预训练阶段:CPU 主要用于数据预处理,如加载数据集、批处理等辅助角色。
- 后训练阶段:CPU 需要处理复杂的环境交互,包括格式化拼接、数据调度、验证计算等任务,尤其是 agent 类型的训练对 CPU 的依赖性增强。
- 推理阶段:CPU 直接负责工具调用执行、结构解析、错误处理以及状态管理等工作。
-
相对策略优化(RPO)算法:通过计算相对排名来优化策略,能够并行执行更多的采样任务,显著提高训练速度和效果。异步 RPO 相较于同步 RPO 的优势在于能够实现任务间的并行性,将原本由 GPU 处理的工作量分摊到 CPU 上,极大地提高了单位时间内的 CPU 用量上限。
-
资源消耗占比:目前训练和推理消耗资源的占比基本平衡,没有明显一方占据绝对优势。企业级平台对前瞻模型的依赖较强,大量调用 AI 的任务仍主要在客户端运行。尽管云托管服务如阿里云等提供了相关功能,但很多专业用户出于数据安全和环境考虑,倾向于在本地使用 class 类型的 CPU 资源。
-
市场供需状况:目前芯片市场,尤其是 CPU 领域,正面临物料紧缺的情况,加上需求猛增,供需缺口正在推动涨价成为一个趋势性现象。预计这个涨价趋势将持续到 Q3 到 Q4 的长周期维度。
-
公司表现:
- Intel:CPU 在 AI 时代的配比持续提升,供需缺口较大导致涨价确定性较强,Q2 因供给约束导致的销售额损失达到数十亿美元级别。其先进制程及先进封装技术的良率提升,以及获得了大量中长期订单和长约,尤其是 18A 的良率已超过预期,先进封装订单也大幅增长。
- AMD:数据中心业务强劲,服务器 CPU 贡献了超过 70% 的收入,打破了 AI 时代 CPU 将被边缘化的认知。AMD 管理层上调了服务器 CPU TAM 容量预期,预计下一季度服务器 CPU 营收将同比增长超过 50%,同时涨价现象已现苗头,全年的产能已售罄,后续可能还会有涨价动作。
- ARM:作为卖 IP 的厂商,对涨价的驱动可能不如 Intel 和 AMD 明显,但更关注 ARM 表述 CPU 容量及未来的市场份额和发展战略指引。
-
虚拟化技术的影响:每一代计算资源的需求预测往往会高估实际需求,而虚拟化和分时技术的效率提升往往被低估。历史案例显示,如互联网初期和移动端应用的发展,实际结果往往与初期预测不同,计算资源的需求可以通过虚拟化技术得到更高效的利用。
-
虚拟机和容器的配置:现在比较完整的虚拟机或容器运行时,通常需要 1 到 4 个核心,如果是较为重负载的场景可能需要 3 到 4 个核心。微型虚拟机则可能只需要一个核心,沙箱环境则可以通过单核多线程的方式实现操作系统分时复用,这样可以更细地切分 CPU 核心,单个核心可以完成更多任务。
-
agent 在县城级别运行时的性能问题:agent 在县城级别运行时确实存在开始污染的问题,因为它中间状态较多,在切换状态时需重新从 drRM 调取数据,导致代价较高。因此,沙箱通常会保持独占 1 到 2 个核心较长时间,但并不意味着直接按照一比一的比例去计算 30 年的 BAM 用量。
-
CPU 配比变化:CPU 在 AI 时代的配比正在提升,从之前的 1 比 8 逐渐演进到 1 比 4,未来可能进一步进化为 1 比 2、1 比 1 甚至更高配比,这主要是由于 AI 带来的 CPU 用量增长。