战略科技（计算机）行业周报：详解大模型训练与推理对算力产业链的需求影响

敬请参阅末页重要声明及评级说明 证券研究报告 详解大模型训练与推理对算力产业链的需求影响 战略科技（计算机） 行业研究/行业周报 行业评级：增持 报告日期： 2023-3 -26 行业指数与沪深300走势比较 分析师：尹沿技 执业证书号：S0010520020001 邮箱：yinyj@hazq.com 分析师：王奇珏 执业证书号： S0010522060002 邮箱：wangqj@hazq.com 联系人：张旭光 执业证书号： S0010121090040 邮箱： zhangxg@hazq.com 相关报告 1.《华安证券_行业研究_计算机行业周报_ 数字中国建设规划发布；实体清单再扩容进一步刺激自主可控》2023-3-5 2.《华安证券_行业研究_计算机行业周报_数据局拉动数据要素发展；文心一言发布关注应用端机会》2023-3-12 3.《华安证券_行业研究_计算机行业周报_巨头AIGC瞄准办公场景，文心与chatgpt试用汇报》2023-3-19 主要观点： 类chatGPT大模型带来的算力增长，毋庸置疑。但算力的需求，不止局限于模型的投资初期。随着GPT API的开放、下游应用多模态的成熟，对于的大模型的推理算力需求进一步提升。也即，在模型不断更迭训练中，算力需求提升；在模型应用推理中，算力需求进一步提升。由此，整个算力需求一如互联网时期的流量需求，持续爆发。 整个大模型的算力需求包括训练端与推理端。本文计算的不是金额，而是潜在的对于以英伟达GPU为代表的芯片需求。由此对应，产业链需求。  训练端算力需求，与模型参数、训练数据集规模正相关 在训练端，算力的需求= 2 × # of connections × 3 × # of training examples × # of epochs。（资料来源：Estimating Training Compute of Deep Learning Models (epochai.org)） 其中： # of connections，是指神经网络中，相互依赖的神经元数量。举例在一个完全链接的神经网络中，N层输入与M层输出，则# of connections=N*M。通常parameters可以近似于# o f connections。 # o f training examples，数据集数量； # o f epoch，是指训练数据集上的完全通过次数。 另一端，算力的供给= training time × # of GPUs/TPUs × peak FLOP/s × utilization rate。 Training time计算时间； Utilization rate使用效率 。 在这个公式中，通常使用英伟达A100 FP32的数据，也即19.5 TFLOPS。Utiliazation rate 通常使用效率，对于大模型而言，是0.3；对于其他模型为0.4。在极端理论数据下，utilization rate=1。我们在报导中看到的数据，GPT3 若使用V100需要训练355gpu年，就是建立在理论数据下，以V100理论算力28 TFLOPS计算的（直接将FP 32的理论算力14TFLOPS乘以2，以得到FP16的理论算力）。若使用RTX8000，假设15TFLOPS，将花费665GPU年 （资料来源：OpenAI's GPT-3 Language Model: A Technical Overview (lambdalabs.com)） 。由此计算的GPT3 的训练算力，整体达到3.14E23 FLOPS。 若仍然以V100就算，若要将训练一次的周期降低至1周内，则需要2万片V100GPU。 由此公式可以看到，促进训练端算力需求增长的因素包括： 1） 参数规模。也即随着GPT 3向更多参数的GPT4、5等发展； 2） 训练集规模。 行业研究 敬请参阅末页重要声明及评级说明 2 / 20 证券研究报告 3） 投入大模型的企业增长。国内包括华为、百度、阿里巴巴、腾讯、字节等互联网巨头以及更多加入大模型研发的企业。 未来的训练端算力需求，是上述三大因素的乘积。  推理端算力需求，与模型参数数量、平均序列长度、并发需求量正相关 而推理部分算力需求，根据GPT 3的回复： 推理算力=模型大小*推演批次大小*平均序列长度*推演速度。 （注：理论数值，其中并发请求数量、模型架构、输入数据等，均可能为影响因素）其中，平均序列长度，随着GPT从简单文字交流，向多模态发展，对于推理算力需求大幅提升。（资料来源：来自GPT3 回复） 于其对于响应速度，相比训练而言，要求高得多（通常用户能接受的响应时间，在几秒之内），因此所需要的并发GPU算力相应提升。 进一步，多模态之下，图片、视频生成需求的提升，在公式中将会增加平均序列长度。同时随着并发需求的增长，整个推理算力需求大幅提升。 逻辑推演之下，chatgpt应用进一步丰富，在推理端的算力需求持续提升，或将远远超过训练阶段的算力需求。 由此来看，整个算力产业链将是chatgpt投资逻辑最顺的产业链条。 建议关注AI芯片（包括GPU、TPU、FPGA）相关标的：海光信息、寒武纪、景嘉微。 对应而言，单台服务器可插多张显卡，同时数据量的增长，对于数据存储也带来巨大寻求，服务器、存储因此受益。建议关注相关标的：浪潮信息、中科曙光、紫光股份、工业富联、联想集团、神州数码。 进一步，以A100功耗达到400w；单服务器插入8张A100计算。单服务器功耗达到3200w。由此对散热产生巨大需求。风冷、液冷技术，有助于帮助解决散热问题，建议关注：英维克（计算机、机械联合覆盖）、依米康、佳力图、网宿科技。  风险提示 1）疫情反复降低企业信息化支出； 2）财政与货币政策低于预期； 3）供应链波动加大，影响科技产业发展。 行业研究 敬请参阅末页重要声明及评级说明 3 / 20 证券研究报告 正文目录 1 科技观点每周荟（上） ................................................................................................................................................................................. 5 2 市场行情回顾（上） ..................................................................................................................................................................................... 8 2.1计算机板块表现 ..................................................................................................................................................................................... 8 2.2 计算机个股表现 ...................................................................................................................................................................................... 9 3科技软件行业重要新闻 .............................................................................................................................................................................. 10 3.1EDA与科学仪器 ................................................................................................................................................................................... 10 3.2工业互联网 ............................................................................................................................................................................................ 10 3.3网络安全................................................................................................................................................................................................. 10 3.4金融科技................................................................................................................................................................................................. 11 4 科技软件重点公司动态 .............................................................................................................................................................................. 13 4.1行业信息化 ............................................................................................................................................................................................ 13 4.2工业软件..............................................................................................................................................................................................