电子行业：如何看待AI算力芯片与服务器的弹性？

停达证券 ResearchandDevelopmentCenier 如何看待AI算力芯片与服务器的弹性？ 2023年3月31日 证券研究报告如何看待AI算力芯片与服务器的弹性？ 信达证券 CINDASECURITIES 行业点评2023年3月31日 本期内容提要： 行业专题研究（普通）Transformer模型是参数量可以无限增长的通用模型，可以处理长序 列的输入，输出。Transformer模型是一种基于自注意力机制的深度 电子学习模型，机较于传统AI模型加猎环神经网络（RNN）和卷积神经网络（CNN)，它在处理序列敦据时具有更高的并行性和可扩展性。 投资评级看好其中，白注意力机制使得模型能够辅提序列中长距离象赖关系，同时 避免了RNN中的庭消失或爆炸问题。Transfomer模型的参数量之 上次评级看好所以会院着数据量和任务复杂无限增长，是固为它可以通过堆受更 英文电子行业首质分析师 多的层或增加隐藏层宽度未提高模型性能，从而适应更复杂的数据和 任务；在传统CNN/RNN模型中，增加网络参数量会提高模型的拟合 能力，但过多的参数容易导致过拟合现象。因此，长期来看大模型领 联系电话：13437172818域或许会出现没有上限的“军备竞赛”， teindas 训辞：根据英作达测算，在4096赖A100GPU互联的情况下，训练 10000亿参数的模型约需要3-4周时间，而在4096颖H100GPU互 韩学杂 联系人联的清况下，时间约需要1周左右。考虑对1周是研发阶段可承受的 周期，因北我们认为4000颖左右H100将是一个大型云计算企业每 年支持30-50个5000亿参数模型项月训练所需的芯片数量，考感到目前大模型参数量已经步入万化熊别，芯片需求量可能会继续上 升。若以英伟达HGXH100-8计其集群为单位（1024NvidiaH100GPUs），总共需要4-8个计其集群，考虑到售价为4900万美金/集群，则单个支持GPT训续的云计算中心至少投入1.96-3.92亿美金用 于服券器的购关， 推理：相比训练，模型的部买是更大的市场。我们认为应用对于服务器的最大承我能力要求存于过峰，即满足PCU时刻的访问需求，根 据Statista，Steam2021年月活用户的为1.32亿人左右，而Steam 公布服务器最高访问人数截至2021年12月31日为2738万人，最高81了万人同时在线进行游戏。因此我们合推断一款被高强度访问的应用，最高在线人数约为月活用户的6.19%-20.74%，值设在国内8 亿用户体量下，最高并发访问人数可高达4952万人-16592万人，根据10DGXH100服务器一秒内可支持300用户的并发访问，若响应 时长延统至5秒及以上，最高可支持1000人以上的并发访问，据此 测算，国内由AI带动的服务器需来量约为5万台-16.6万台，芯片为50-166万赖。假设全球活跌用户体量为国内用户体量的3倍，则全球 服务器需求量为15-50万台，芯片需本量为150-500万额。 投资建议：ChatGPT的法造渗避侧面反映出大模型在通用任务上所 展现的强大能力，电为人工智能产业术来的投资指引了方向。在 AIGC驱动新--轮产业革会的趋势下，我们认为AI再方产业链上下游 均有投资机会。 建议关注：海光信息、塞威纪、龙范中科、润起科技、工业富联、紫光国微、中芯国际、华虹率手体、华大九天、概伦电子、芯原股份、兴东科技、通富徽电、华正新材、方邦股份、长电科技、海束成视，大华股份、品展股份，瑞芯晟、全志料技。 风险提示：技术选代不及预期：制载风险：本文对服务器、芯片需求 CINDASECURITIESCU..LTD :10003 口大街9号院1号楼 量等测算是基于一定前提般设，存在假设条件不成立、市场发展不及预期等国素手致测斗结采偏差。 请图读最后--免食≥叫及信息收露http:/www.cindasc.com2 自录 训练与部善：我们如何测算AI芯片及服务落的弹性 训能：迈入万化参数时代、千卡互联，超点计算是大势所趋部署：强AI贴手有望实现大观模渗逐，股务器市注入新活力投资建议：势确立，下注未来 风险目素. 表目录 表1：汽车及细分行业道年销量增速情况（净） 图目录 图1：传统NLP模型寿在稳度下降爆炸问题，无法影决长序列的处理图2：莫件达H100训练卡对LLM的训练时长两数典线 图3：2022Q4全球云计算服务商市场份新. 图4：美伟达10DGXI1100量时支持的300人的并发访问 图5:英伟达过去5个幸度妆入构成（百万美元）图6：全球务器市场产值及比货量预测 请阅读最后--免餐>明及信息收客http:/www.cindasc.com3 信达证券 CINDASECURITIES 训练与部署：我们如何测算AI芯片及服务器的弹性 信达证券 CINDASECURITIES 训练：迈入万亿参数时代，千卡互联、超级计算是大势所趋 Transformer模型是参数量可以无限增长的通用模型，可以处理长序列的输入、输出，Transformer模型是一种基于的注意力机制的淡度学习模型，相较子传统Al模型如循环神经网络（RNN）和尽积神经网终（CNN），它在处理序列数据时其有更高的并行性和可拓 展性，其中，自注意力机制使得模型能够描权序列中长距离依赖关系，同时避免了RNN 中的梯度消失或爆炸间题，Transformer模型的参数量之所以会随着数据量和任务复杂度 无限增长；是固为它可以道过堆叠更多的层或增加稳藏层宽度来提高模型性能，从而适应 更复杂的数据和任务：在传统CNN/RNN模型中：增加周络参款量会提高模型的拟合能 力，但过多的参数客易导致过拟合现象，这意味着模型可能在训继集上表现良好，但在到试集或实际应用中的泛化能力较差， 图1：传统NLP模型存在样度下降/爆炸问题，无法解决长序列的处理 RNN：存在梯度下降/爆炸问题 1 -/t ThisisagiventexttoshowthedifferencebetweenTransformermodelandRNNmodel. Output hrakan Benret Transformer mgiratonmgistsson Encoing [<E09>ce0s apad- InoutsOutputs :Atfenifion/sAlYouNeed(AshishVsswani事),达心 (snittedright) 家家家家家 训练的过程就是不断调整参数矩阵的过程，参数矩阵体量趋大，消耗的数据和算力超多。AI模型的训练可以理解为一个根据输入数据（如文字、图像、声音等）进行预测的过程，在这个过程中，模型通过不所调整其内部参数，试图让预测结果尽可能接近真实的标。参数矩阵是AI模型中用于存储权重和偏死的短库。权重和伤置是模型的关键参数，它们在模型的创练运程中被不新更新，以促模型在训练数据上获荐更好的预测性能，在训练进程中，每次达代时，模型都会通迁计算损失函数（衡量模型预测值与真实值之间的差距）的 请阅读最后--充t产明及信息收客http:/www.cindasc.com4 信达证券 CINDASECURITIES 梯度，然后根据这个梯度调整参数矩阵中的数值，使损失函数最小化。对参数矩阵的操作 主要包括以下几个方面： 初始化：在训练开始时：参获矩阵中的权重和编置通常会被随机初始化，这样可以保证模型从一个比较广泛的参数空问开始学习， 前向传播：根据入数据和当前参数矩降：模型计算出预测位，这个过程中涉及到 矩阵庭法和激活函数等深作、 反向传播：计算损失函数关于参数短阵的梯度，这个梯度表示了失函数在当前参数 下的变化方向和程度， 更新参数：根据梯度和设定的学习率，调整参数短阵中的数值。这个过程通常使用优 化算法（如随机梯度下降、Adam等）究成 通过反复进行以上操作，A模型在训练过程中不断调整参数矩库，以提高在训练数据上的 预测性能 表1：汽车及细分行业近年销量增速情况（%） N,eams dreel nrasts dusl BatchSize LearningRate 125M 12 768 12 64 0.5M 6.0×10-4 350M 24 1024 16 64 0.5M 3.0×10-4 W092 24 1536 16 96 0.5M 2.5×10-4 1.3B 24 2048 24 128 1M 2.0×10-4 2.7B 32 2560 32 80 M 1.6×10-4 6.7B 32 4096 32 128 2M 1.2×10-4 13.03 40 5140 40 128 2M 1.0×10-4 175.0B 96 12288 96 128 3.2M 0.6×10-4. ModelName GPT-3Small GPT-3MediurmGPT-3Large GPT-3XL GPT-32.7B GPT-36.7BGPT-313B GPT-3175B 表af;LsnguageModeisereFsw-ShorLeaners(TomB.Browm等)，i证求产心 根据英伤达测算，在4096题A100GPU互联的情况下，训练10000亿参数的模型约需要3-4周时间，而在4096颗H100GPU互联的情况下，时问约需要1周左右，考虑到1周 定研发阶段可承受的同期，固此我们认为4000预左右H100将是一个大型云计算企业每年 支持30-50个5000亿参数模型项目训练所需要的芯片数量。考虑到目前大模型参数量已 经步入万亿级则、芯片需求量可能会继续上升 图2:美伟达H100训练卡对LLM的训练时长品款由线 TransformerandLLMResearchPapersPerVearSuperchargedLLMTraining 140Lowerisbetter 4KA100 12000 1000 4KH100 200701755301000 2017:201820092026222 严科表添；COLFAX，信达证家研发中心 arswm1Aguen-0-owul(Bilionparameters) 请间读最后-免★>明及信息收客http/www.cindasc.com5 信达证券 CINDASECURITIES 著以英伟达HGXH100-8计算集群为单位（1024NvidiaH100GPUs），总共需要4-8个左 右集群，考虑到售价为4900万美全/集群，则单个支持GPT训练的云计算中心至少投入 1.96-3.92亿美金用于服务器的购关， 图3:2022Q4全球云计算股务商市场份额 其h IBM 阿里云 微软云亚马避云 0%5%10%15%20%26%30% 聚行表凝；CRN，价达证泰研发中心 部署：强AI助手有望实现大规模渗透，服务器市场注入新活力 部署即等大模型应用到限务器端，向消费者投供服务的过程，要讨论部署对服务器市场的拉动；我们必须先理清三个名词的含义和他们之间的对应关系： 活跃用户数量：指的是在任意一个时间段内活跃的用户总数：这个数字可以反映一个 网站或应用的流行程度。若这个时间段以月为单位，则称为月活用产数量（Monthly ActiveUsers，新称MAU) 最高并发访问人数（PeakConcurrentUsers，简称PCU）；表示在某一特定时刻， 服务器能够同时承找的最大访问人数。这个指标可以用来衡量服务器的处理能力和承 裁压力， 服务器压力（ServerLoad)：指的是服务器在处理用户请求时所承受的负荐，它通常 受到并发访问人数、请求处理违度、网络带宽等多种因素的影响。服务器压力过大可能手致服务器性能下降。访问违度减缓基至家机，维持合理的服务器压力对于保障用户体验至关要。 对于服务器的富求款量采说，它取决于最高并发访间时的服务器压力，而最高访问数量又 与活跃用户数量挂钩，但远小于总用户体量。月活用户数量（MAU）和服务器最高并发访问人款（PCU）之间的相关关系确实存在，但这两者并非究全线性关系，尽管月活用户载 量能够反映一个闻站或应用的流行程