ChatGPT算力需求是如何扩张的

算力需求陡增，ChatGPT初始投入或近十亿美元。1）和传统人工智能小模型不同，Chatgpt采用大模型支撑，可以满足通用场景需要。而这也带来了模型参数量及预训练数据量的扩张，算力成为衡量投入的关键指标。2）根据我们估算，以Chatgpt日前约2500万日活、使用英伟达A100芯片等作为基础假设，访问阶段算力初始投入约近8亿美元，训练阶段算力投入约为单次140万美元；另外，考虑Google每日搜索量已达到35亿，我们认为Chatgpt日活提升空间广阔，算力需求有望持续释放。 文字交互仅为起点，大模型迈向输入输出多模态。1）NLP只是大模型的应用领域之一，未来大模型的输入输出可以不仅限于文字，虽然当前影响力最强的ChatGPT是NLP模型，但还可以包括图像、视频等多种形式，成为多模态模型，例如OpenAI的绘画AI模型DALL-E2，在AIGC界引起过巨大反响的Stable Diffusion等等。2）由于多模态模型使用图像、视频等多媒体数据进行训练，而此类文件大小远超文字，导致训练所需数据量远超语言模型。以Stable diffusion为例，根据公司官网信息披露，该模型训练数据集为LAION 5B的一个子数据集，而LAION 5B的数据包至少80TB，规模已经远超传统语言类大模型训练时使用的数据量（一般是GB级的）。 无独有偶，DALL-E2模型在训练时使用了6.5亿张图片，按单张图片大小512*512像素（约256kb）估算，整体训练数据集大小高达约155TB。由此可见，多模态大模型的训练对算力芯片数量需求远胜语言类模型，算力需求有望进一步扩张。 应用形式多点开花，算力或迎来高速扩张时代。1）文字：Outlook等主流邮箱已可利用OpenAI技术及GPT自动生成格式化的电子邮件回复，考虑全球每天超3000亿封的电子邮件发送量、Outlook约8%的市占率、每个单词数据量约为5B等因素，我们预计，接入Outlook邮件场景后，Chatgpt每日生成数据量或为261GB，相比目前官网问答式场景约33GB的数据量、或有近8倍提升。2）语音：Teams与OpenAI已正式开展合作，可实现生成纪要、划分章节、时间标记、实时翻译等多类功能，官方定价为10美元/月。相比文字，音频数据量明显更大，约为2B/秒；参考Teams每日约60亿分钟的总会议时长，考虑相关功能使用比例，Teams每日新增数据量需求约为336GB。3）图片：根据文字描述、标签点击等自动生成图片的功能已有商业化落地，万兴科技Filmora也已计入OpenAI，为视频创作者提供更定制化的图片素材。根据我们估算，以Filmora现有场景为基础，OpenAI图片素材输出数据量约为每日586GB。4）视频：《犬与少年》是AIGC技术辅助商业动画片的发行级别作品，由Netflix、小冰公司日本分部（rinna）、WIT STUDIO共同创作。在视频领域，单秒输出数据量或达到1MB，是目前较为复杂的应用场景之一。随着AIGC技术在影视剧集、宣传视频等领域逐步渗透，视频创作效率或迎来显著提升，星辰大海拉开序幕。 综上，我们认为，目前文字交互仅为Chatgpt以及AIGC应用场景的冰山一角，语音、图片、视频等多形式的输入输出，或将为内容创作领域带来革命性变化。 而更广的数据形态、更多的应用场景、更深的用户体验，亦将大幅提升支撑人工智能的算力需求，算力或迎来高速扩张时代。 投资标的：1）服务器：浪潮信息、紫光股份、神州数码、中科曙光等；2）芯片：景嘉微、寒武纪、海光信息、龙芯中科等；3）IDC：宝信软件、万国数据、数据港、世纪华通等；4）光通信等。 风险提示：AI技术迭代不及预期风险、经济下行超预期风险、行业竞争加剧风险、假设测算与实际不符风险 1.算力需求陡增，ChatGPT初始投入或近十亿美元 以大模型为基础，参数量、数据量高度扩张，算力需求陡增。1）ChatGPT是生成式AI的一种形式，背后的支撑是人工智能大模型。大模型通常是在无标注的大数据集上，采用自监督学习的方法进行训练。之后，在其他场景的应用中，开发者只需要对模型进行微调，或采用少量数据进行二次训练，就可以满足新应用场景的需要。这意味着，对大模型的改进可以让所有的下游小模型受益，大幅提升人工智能的适用场景和研发效率。 因此大模型成为业界重点投入的方向，OpenAI、谷歌、脸书、微软，国内的百度、阿里、腾讯、华为和智源研究院等纷纷推出超大模型。2）在大模型的框架下，每一代GPT模型的参数量均高速扩张；同时，预训练的数据量需求亦快速提升。我们认为，ChatGPT的快速渗透、落地应用，也将大幅提振算力需求。 图表1：GPT历代模型参数量及表现 Chatgpt月活过亿，算力成为衡量投入的关键指标。根据Similarweb的数据，2023年1月，Chatgpt累计用户超1亿，创下了互联网最快破亿应用的记录，超过了之前TikTok9个月破亿的速度。 1）访问阶段：初始投入近十亿美元，单日电费数万美元。 英伟达A100：根据OneFlow报道，目前，NVIDIAA100是AWS最具成本效益的GPU选择。 英伟达DGXA100服务器：单机搭载8片A100 GPU，AI算力性能约为5PetaFLOP/s，单机最大功率约为6.5kw，售价约为19.9万美元/台。 每日咨询量：根据Similarweb数据，截至2023年1月底，chat.openai.com网站（即ChatGPT官网）在2023/1/27-2023/2/3这一周吸引的每日访客数量高达2500万。 假设以目前的稳定状态，每日每用户提问约10个问题，则每日约有2.5亿次咨询量。 A100运行小时：假设每个问题平均30字，单个词在A100GPU上约消耗350ms，则一天共需消耗729,167个A100 GPU运行小时。 A100需求量：对应每天需要729,167/24=30,382片英伟达A100GPU同时计算，才可满足当前ChatGPT的访问量。 初始算力投入：以前述英伟达DGXA100为基础，需要30,382/8=3,798台服务器，对应3,798/7=542个机柜。则，为满足ChatGPT当前千万级用户的咨询量，初始算力投入成本约为542*140=7.59亿美元。 每月电费：用电量而言，542*45.5kw*24h=591,864kwh/日。参考Hashrate Index统计，我们假设美国平均工业电价约为0.08美元/kwh。则，每日电费约为2,369,640*0.08=4.7万美元/日。 另外，考虑Google每日搜索量已达到35亿，我们认为Chatgpt日活提升空间广阔，算力需求有望持续释放。 2）训练阶段：公有云下，单次训练约为百万至千万美元 每个token的训练成本通常约为6N（而推理成本约为2N），其中N是LLM的参数数量； 假设在训练过程中，模型的FLOPS利用率为46.2%，与在TPU v4芯片上进行训练的PaLM模型（拥有5400亿参数）一致。 根据OneFlow估算，GPT-3训练一次的成本约为139.8万美元；对于一些更大的LLM模型（如拥有2800亿参数的Gopher和拥有5400亿参数的PaLM），采用同样的计算公式，可得出，训练成本介于200万美元至1200万美元之间。 图表2：GPT-3训练成本估算 图表3：预估LLM在GCPTPUv4芯片上的训练成本 2.文字交互仅为起点，大模型迈向输入输出多模态 NLP只是大模型的应用领域之一，图像、视频等领域也可使用Transformer大模型这一技术路径。Transformer虽然最早提出之时，用于NLP领域，但随着这一技术路径不断普及流行，图像、视频、音乐等领域也开始使用Transformer的技术路线，探索各类跨类别任务（比如根据文字指令输出图像等）。 未来大模型的输入输出可以不仅限于文字，还可以包括图像、视频等多种形式，成为多模态模型。虽然当前影响力最强的ChatGPT是NLP模型，但大模型的能力远远不仅限于文字。输入文字生成图像、输入文字生成音乐、输入图像生成图像……此类功能现在已经可以通过AI大模型一定程度上实现，这类模型被称为多模态模型，例如OpenAI的绘画AI模型DALL-E2，在AIGC界引起过巨大反响的StableDiffusion，以及谷歌推出的音乐生成AI模型MusicLM等。 1）DALL-E2：OpenAI推出的AI绘画模型，在前代DALL-E的基础之上有了很大提升，可以直接根据文字生成图像，也可以输入图像后、自现成图像上根据文字指令进行部分修改，功能强大。 图表4：用DALL-E2生成宇航员骑马图 2）Stable diffusion：由stability.ai公司在去年开源的AI绘画模型，可以通过输入文字生成对应图像。由于效果极佳，模型一经开源即在AIGC界引起极大反响。 图表5：Stable Diffusion生成的图像 多模态模型训练数据为图像、视频等，规模远大于语言类模型，算力需求有望激增。由于多模态模型使用图像、视频等多媒体数据进行训练，而此类文件大小远超文字。1）以Stablediffusion为例，根据公司官网信息披露，该模型训练数据集为LAION 5B的一个子数据集，而LAION5B的数据包至少80TB，规模已经远超传统语言类大模型训练时使用的数据量（一般是GB级的）。该模型使用4000块英伟达A100训练了一个月，算力需求庞大，若按AWS官网上租用价格（32.77美元/小时/8GPU）计算，则该模型训练成本可高达4000/8*32.77*24*30=1179.72万美元。2）无独有偶，DALL-E2模型在训练时使用了6.5亿张图片，按单张图片大小512*512像素（约256kb）估算，整体训练数据集大小高达约155TB。由此可见，多模态大模型的训练对算力芯片数量需求远胜语言类模型，算力需求有望扩张。 图表6：Stable diffusion训练成本估算 3.应用形式多点开花，算力或迎来高速扩张时代 OpenAI GPT3自发布以来，在翻译、问答、内容生成等纯文本领域均有不俗表现，吸引了海内外科技巨头纷纷加大投入。目前，OpenAI快速扩充适用场景，从语言形式逐步拓展至文字、语音、图片、视频等各类场景。我们认为，AI大模型的快速渗透和多领域落地应用，有望大幅提振算力需求。 3.1文字：从搜索到邮件，Outlook/Gmail、Word有望渐次接入 邮件服务已落地，Outlook、Gmail等主流邮箱已适配。1）Outlook：Viva Sales在微软云中利用OpenAI和GPT自动生成格式化的电子邮件回复。在回复电子邮件时，Viva Sales根据“提出建议”、“答复询问”、“表达关切“或“自定义”等类别提供对应文本，用户只需选择适合他们需求的选项，在生成文本后根据自己的喜好进行编辑和发送。2）Gmail：目前ChatGPT已经与Gmail邮箱进行适配，可以通过ChatGPT AI生成完整的电子邮件和消息，在Google浏览器提供免费Chrome。 图表7：Outlook利用GPT生成邮件 图表8：ChatGPT Writer在Gmail中生成完整邮件 全球每天电子邮件发送量超三千亿封，Outlook市占率约8%。1）根据FinancesOnline数据，2022年全球企业和个人用户每天发送约3332亿封电子邮件，垃圾邮件占电子邮件流量的47.3%。2）根据Litmus Email Analytics数据，从2021年1月到2021年3月电子邮件客户端Gmail与Outlook的市场占有率为27.2%、7.8%。则，可以推出每天企业和个人使用Gmail与Outlook客户端发送非垃圾邮件约3332*（1-47.3%）*7.8%=137亿封。 据估算，整体而言，Outlook每日邮件数据量约为25.52TB。 邮件字符数：根据Aweber统计，每封邮件平均