Web3视角下的AIGC算力进化论

伴随着ChatGPT的爆红，AIGC（人工智能生成内容）产业链受到广泛关注。我们发现，同为算力，其与加密资产挖矿产业存在相似之处，均为投入算力和电力，获得经济回报，主要的不同点在产品端：AIGC产业链的产品是对用户提问而回应的内容，而加密资产挖矿的产品是加密资产。 同为算力“吞金兽”，短期比特币更耗电、长期AI算力增速快。同为算力生意，我们做了个有趣的研究，AIGC与BTC挖矿耗电量如何？按当前比特币全网算力319EH/S，每日耗电量约为2.2亿千瓦时；而OpenAI在训练、推理端的日均耗电量约2.6万千瓦时，约是前者的万分之一，但按OpenAI的预测，AI训练所需的算力每3-4个月翻倍，且考虑商业竞争算力增长速度预计将更快，“算力即权力”的时代将来临。中性预期下，ChatGPT日活稳定在1亿人次左右、ChatGPT每6个月模型参数翻倍、国际市场将出现10个左右类似于ChatGPT的商用大模型，而比特币挖矿耗电量保持当前状态，则大约4年后，AIGC大模型耗电量将超过比特币挖矿耗电量，乐观和悲观预期下，这一数字则分别为1.6年和7.5年。 算力的竞争性——产业自驱的结果。市场忽略了算力的竞争性，考虑商业因素，算力生意存在分子与分母端。对比特币挖矿而言，关于个体矿工能挖到的可用于变现的比特币数量，分子是个体的算力，分母是全网算力，个体矿工能挖得的比特币数量取决于其自身算力占全网算力的比例。而AIGC而言，关于个人内容生产者能获得的可用于变现的用户注意力，分子是个体算力驱动下的内容生产能力，分母是全网的内容膨胀速度，从UGC到AIGC的升维中，谁的内容生产力提升更快，谁就能获得更多商业利益，因此产业自驱之下，市场将追求更高的算力、更优的模型算法、更高功耗比的网络架构以及更便宜的电力。最终算力的需求规模将由应用定义。 寻找算力进化中的边际变化。当下难以预知未来多模态（图片、视频等）中到底会消耗多少算力，可当我们看到海外已然层出不穷的应用时，算力的增长只是时间问题，更重要的边际变化在于算力进化中在芯片、网络、连接等诸多领域有哪些创新方案？我们认为，在AIGC的推动下，更有利于新技术、新架构、新材料的落地应用，例如光连接中的CPO（光电共封装）、MPO（多纤连接器）；芯片层面的Chiplet；网络架构层面的边缘计算等。 AIGC驱动算力产业版图生变。我们研究了过往加密资产领域的算力变迁，云服务与分布式早已应用（BTC云挖矿与Filecoin分布式存储），而今在AIGC的算力版图上亦同步发生。1）英伟达募资百亿进入AI云算力，其在GPU供给、算力复用度上占优，且将改变其商业模式；2）高通在AIoT领域布局终端算力，推理与内容生产端算力与存储的梯度分布（云—雾—端）。这些变化将驱动终端IT服务和硬件的升级。 投资建议：建议关注：1）算力侧：英伟达、微软、寒武纪、天孚、太辰光、锐捷网络、中兴、紫光、美格智能、新易盛、中际旭创、Chiplet产业链等；2）应用及IP：科大讯飞、汤姆猫、万兴科技、中文在线、昆仑万维、视觉中国、值得买等。 风险提示：AIGC技术发展不及预期，AIGC监管趋严。 1如何理解AIGC的算力生意？ 伴随着ChatGPT的爆红，AIGC（人工智能生成内容）产业链受到市场广泛关注。算力，作为AIGC的基础，更被称为基石，近日英伟达在财报中的表述也佐证了这一点。市场一直在问：未来的算力需求到底有多大？我们发现现有的论述虽就GhatGPT的需求进行了推演，但未来AIGC必然走向多模态，其需求量和需求逻辑也将有所差异，算力的增长将大幅超预期，而理解这些的一切都建立在如何认识AI算力生意上。 过去我们讨论算力较多着眼于IDC，其商业逻辑着重于“数字地产”，即购买或租赁土地，投资建设机房并按机柜（或功耗）租赁给下游政企客户，从用途上兼顾“存”与“算”，但大部分一线城市以外的机柜都以“存”为主。AI算力则聚焦于“算”，在我们和国内外团队交流中，构建AI超算中心的资本开支核心在于GPU，这种高密度的计算未来将着重受限于两个指标：算力、功耗比。这与过往的“挖矿”市场在经济模型上有一定相似之处，研究这一特征有助于预测AIGC算力生意的未来走向。 1.1算力经济模型：投入硬件和电力，获得经济回报 过去我们看到很多超算中心提供气象、交通、工业等领域的服务，但更多侧重于社会价值，而对AIGC或“挖矿”而言，都直接以经济回报为目的，投入产出要求更高。产业链方面，可以看出，AIGC产业链与加密资产挖矿存在若干相似之处。 成本主要是电费和算力投资，并且这两项费用主要取决于芯片本身的性能。其中，电费取决于芯片的功耗，而算力费用取决于芯片的算力水平和云计算费用。 目的都是为了获得经济回报。从OpenAI最近的合作及收费方式可以清晰看到其商业飞轮模型，正因为有了这样的反馈才能推动其快速发展。 图表1：AIGC与加密资产挖矿产业链 1.2对用户的内容生成，是AIGC产业链的产品 AIGC产业链与加密资产挖矿的不同之处在产品端，AIGC产业链的产品是对用户提问而回应的内容，而加密资产挖矿的产品是加密资产。具体看来，两大产业的不同包括： 成本端， AIGC：使用的的芯片主要是GPU（图形处理器/显卡）；硬件之外，相较于加密资产挖矿，AIGC投入了更大规模、更昂贵的人力资源。例如，澎湃新闻称，为ChatGPT项目做出贡献的人员不足百人（共87人）。根据O’Reilly2021年6月的调查，OpenAI所在的加州数据和人工智能岗位的平均年薪为17.6万美元，假设OpenAI员工的平均年薪也与此相当，则OpenAI一年需付出1531万美元（约合1亿人民币）。 加密资产挖矿：使用的是ASIC（专用集成电路）和GPU（当前GPU因以太坊共识机制改变已经退出）。相较于GPU，ASIC芯片的针对性更强，只适用于各加密资产各自的算法。加密资产挖矿行业所需的专业人才主要是芯片设计人才和矿机运维人才，根据我们的了解，相较于前者，后者工资较低，而前者规模相较于重人力资本投入的AIGC产业明显更少，原因主要是加密资产挖矿（例如比特币矿机）芯片设计不需要类似于AIGC模型一般持续、大规模的人工调试和算法优化。 产品端， AIGC：产品是对用户提问的回答，形式包括文本、图片和视频等多模态输出，当前主要是前两种。 加密资产挖矿：产品是各加密资产系统为奖励矿工维护系统账本安全性，而发放的加密资产奖励，以及账本内交易中给矿工的手续费，例如比特币。 收入端， AIGC：会预先从客户处收取使用费，例如，ChatGPT高级版（Plus）的订阅费为每月20美元；同时对下游B端客户开放的API接口收费。 加密资产挖矿：需要将生产所得的加密资产，通过海外加密资产交易所等渠道兑现。 2算力“吞金兽”：当前BTC耗电更大，而AIGC增速快 2.1AIGC和比特币挖矿耗电量比较：当前比特币挖矿更耗电 由于AIGC算法和加密资产挖矿算法的不同，难以直接比较其参数，另外由于AIGC尚处于发展早期，年收入尚难估算，但我们找到了直接对比AIGC和比特币挖矿的一个直观指标：耗电量。 根据我们的计算，ChatGPT每日训练和推理的耗电量为25677千瓦时，是比特币挖矿日耗电量的万分之一（比特币挖矿为2.2亿千瓦时）。 此处我们使用的数据是：比特币挖矿方面， 已知项：2023年2月28日，比特币全网算力为319（Ehash/s）。 假设项：全网矿机一半为蚂蚁矿机S9（算力为14Thash/s，功耗为1400W），一半为蚂蚁矿机S19（算力为141Thash/s，功耗为3031.5W），其平均算力为78Thash/s，平均功耗为2216W。可以算出，按照前述全网算力，全网大约有412万台矿机。 AIGC方面： 已知项：1）英伟达单个DGXA100服务器内含8个A100GPU；2）单个英伟达A100GPU的峰值浮点运算次数是624TFLOPS（稀疏化后，指每秒可做10^12次浮点运算）；3）单个英伟达DGXA100服务器的最大功率是6.5千瓦； 4）ChatGPT前身——GPT3的模型参数量是1750亿个、训练的标识符（token）数是3000亿个。 假设项：1）ChatGPT模型参数是3000亿个，推理时可以通过蒸馏等技术仅使用300亿个参数；2）单个模型参数、单个标识符训练时所需的浮点运算次数为6N，推理时为2N，其中N为模型参数，单位为FLOPs；3）单个服务器训练时的峰值利用率为46.2%，推理时为21.3%，与GPT3保持一致；4）训练用标识符数量为5000亿个；5）关于推理时用的标识符数量，假设根据Similarweb统计，截至2023年2月21日的28日chat.openai.com的每日访问人数均值为28696429，此处简化为3000万人，平均每人提出10个问题，每个提问含50个单词，ChatGPT为单个提问生成5个回答，每个回答包含100个单词，每1000个单词对应750个标识符；6）假设ChatGPT每个月训练十次，每个月有三十天。可以算出，ChatGPT每次训练需要1506个英伟达DGX A100服务器，每日推理需要144个，相当于13194个A100GPU。 图表2：ChatGPT每日电费估计 ChatGPT之外，我们也注意到其他AIGC文本服务和多模态领域对算力和电量的海量需求。 大语言模型训练成本高昂。参考Substack作者“Sunyan”的测算，模型参数为2800亿个Gopher（GoogleDeepMind）的训练成本为200万美元；模型参数为5300亿的MT-NLG（Microsoft/Nvidia）的训练成本为400万美元；模型参数为5400亿的PaLM（Google Reasearch）的训练成本为1100万美元。根据《财富》杂志，在尚未收费的2022年，OpenAI该年度净亏损即高达5.445亿美元（不含员工股票期权），我们预计其中算力成本占据了重要位置。 图片 生成图片所需的算力取决于多个因素，例如生成图片的分辨率、所使用的算法、训练数据集的大小和质量，以及使用的硬件等。 StableDiffusion 根据StabilityAI的创始人兼首席执行官EmadMostaque，StableDiffusion使用了256张NvidiaA100训练，所有显卡总计耗时15万小时，成本约为60万美元。 根据BusinessInsider2022年10月的报道，StableAI的运营和云计算成本超过5000万美元。当月，StabilityAI完成了1亿美元融资，投后估值10亿美元，为AI训练助力。 图表3：StableDiffusion算力成本 Dall-E 根据《Zero-ShotText-to-ImageGeneration》，OpenAI在Dall-E的整个训练中，共使用了1024块16GB的NVIDIAV100GPU。团队从网上收集了一个包含2.5亿个图像文本对的数据集，在这一数据集上训练一个包含120亿个参数的自回归Transformer。 另外，论文介绍道，用于图像重建部分的dVAE模型的训练，共用了64块16GB的NVIDIAV100GPU，判别模型CLIP则共使用256块GPU训练了14天。 视频 生成视频所需的算力和存储空间比生成单张图片更高，因为生成视频需要在时间维度上连续地生成，而视频中的每一帧都需要根据前一帧生成。 因此，生成视频所需的算力取决于多个因素，包括视频分辨率、帧率、视频长度、所使用的算法和训练数据集的大小和质量。使用GPU可以显著加速训练，但是在生成高分辨率视频时，可能需要使用多个GPU和分布式计算来加速训练。 近期我们尝试定制了2D仿真数字人，在每次内容生产时就是将语音和文本内容添加到已经构建好的人物模型中（数字人模型），在后台通过GPU生成短视频，其生成速度与GPU规模密切相关。对于创业企业而言，未来的定价就是基于算力成本，用户也是购买算力时长