在发现报告(www.fxbaogao.com),您可以找到海量的专业研报。作为国内用户量巨大的专业平台,我们覆盖了宏观、行业、公司等全方位内容,报告多到超乎您的想象。我们深知金融人的需求,用最简单的界面和最快的技术,帮您解决找资料难的问题。在这里,信息获取变得异常高效,让您轻松洞察市场,做出聪明的投资决定。
本文主要介绍了AI大语言模型的原理、演进及算力测算。大语言模型是一种非串行的神经网络架构,Transformer模型是其基础架构,具有并行运算、关注上下文信息、表达能力强等优势。GPT是基于Transformer架构衍生出的生成式预训练的单向语言模型,通过大量语料数据进行无监督学习,从而实现文本生成的目的。大语言模型的训练及推理应用对算力需求带来急剧提升,以GPT-3为例,其所需算力为121.528PFLOPS,以A100 PCle芯片为例,训练阶段需要新增A100 GPU芯片1558颗。