【天风通信】Groq的LPU方案创新，有望加速推理和边缘侧AI，AI算力军备竞赛持续演绎
【天风通信】Groq的LPU方案创新，有望加速推理和边缘侧AI，AI算力军备竞赛持续演绎 □事件：Groq近日凭借更快的推理速度获得较大关注，实现500tokens/s。 1、推理速度惊人：Groq成立于2016年，创始人之前是第一代TPU的设计者。 几个月前Groq小范围Demo，近两天正式开始测试，在端到端的硬件上跑mistral7X8B，速度达到了500toke 【天风通信】Groq的LPU方案创新，有望加速推理和边缘侧AI，AI算力军备竞赛持续演绎 □事件：Groq近日凭借更快的推理速度获得较大关注，实现500tokens/s。 1、推理速度惊人：Groq成立于2016年，创始人之前是第一代TPU的设计者。 几个月前Groq小范围Demo，近两天正式开始测试，在端到端的硬件上跑mistral7X8B，速度达到了500token/s，推理速度实现较大提升。 2、LPU方案：Groq芯片采用14nm制程，搭载了230MB大SRAM以保证内存带宽；在算力方面，该芯片的int8运算速度为750TOPs，FP16运算速度为188TFLOPs。 该芯片基于自研的TSP架构，相当于适用AI场景的专用芯片。 3、我们认为，目前Grop单张卡成本较低，或更适用于低时延小规模数据处理。 实际装载大模型和推理应用的商用场景，具有海量数据和高并发的特征，因此需要看集群的综合成本比较才有意义，我们测算下来groq整体集群成本目前非常高。 当前Groq定价不确定，按照部分第三方价格2万美金，运行Llmma70B需要572片，则成本将达到1144万美金以上，同时考虑能耗方面则整体运营成本较高，综合成本明显高于NVGPU系列方案。 最终定价情况需关注Groq最终发布，若成本下降其推理速度快优势将体现，更适用于低时延响应需求场景，有望加速推理应用和边缘AI进展。 4、投资观点：短期真正受益AI产业的公司（旭创、天孚、沪电、新易盛、富联）订单充足，季度业绩高增有望持续加速，产业进展和迭代速度惊人，仍会迎来密集催化，核心受益上市公司是AI产业最好的期权；中长期看，未来随着应用的爆发和GPT5.0的推出将打开25-26年的增长空间，1.6T光模块配合NV的B100进展未来有望放量迭代，以及持续重点关注AI新技术方向（硅光、液冷、AI终端等）。
