铜月报：再谈GPT：应用方式的多元化发展

铜月报 再谈GPT：应用方式的多元化发展 华龙期货投资咨询部投资咨询业务资格：证监许可【2012】1087号有色研究员：刘江期货从业资格证号：F0305841投资咨询资格证号：Z0016251电话：0931-8582647邮箱：451591573@qq.com报告日期：2023年6月1日星期四 本报告中所有观点仅供参考，请投资者务必阅读正文之后的免责声明。 内容提要 大型语言模型（LLM）向通用人工智能（AGI）转变 OpenAI开发的GPT-4在各种领域和任务上表现出了非凡的能力，包括抽象、理解、视觉、编码、数学、医学、法律、对人类动机和情感的理 解等。 AutoML-GPT使用GPT作为各种AI模型之间的桥梁，并用优化过的超参数来动态训练模型。 通用人工智能（AGI）的应用 Microsoft365Copilot等应用将通用人工智能（AGI）与日常应用相结合，让通用人工智能技术更贴合实际需求。 MidjourneyAI绘画工具在实际上颠覆人类对于一些行业的认知，由AI生成的图片和真正的照片在人眼视觉上已经没有了差别，这些行业很可能在未来被替代。 通用人工智能（AGI）带来的需求变化 随着通用人工智能（AGI）的使用日益频繁，日益多元化，相应的芯片需求及电力需要将会增加，与电力、芯片行业密不可分的铜将扮演主要角色，未来通用人工智能（AGI）带来的铜需求很可能是拉动铜消费的重要方面。 风险提示：利率政策变化超预期，经济数据超预期，芯片需求变化超预期。 内容目录 1.大型语言模型（LLM）向通用人工智能（AGI）转变1 1.1大型语言模型（LLM）1 1.2GPT42 1.3通用系统AutoML-GPT2 2.通用人工智能（AGI）的应用4 2.1Microsoft365Copilot4 2.2MidjourneyAI绘图工具4 3.通用人工智能（AGI）带来的需求变化5 3.1芯片需求预期暴涨5 3.2电力需求旺盛6 3.3铜金属需求增加7 1.大型语言模型（LLM）向通用人工智能（AGI）转变 1.1大型语言模型（LLM） 大型语言模型（LLM）是指包含数千亿（或更多）参数的语言模型，这些参数是在大量文本数据上训练的，例如模型GPT-3、PaLM、Galactica和LLaMA。具体来说，LLM建立在Transformer架构之上，其中多头注意力层堆叠在一个非常深的神经网络中。现有的LLM主要采用与小语言模型类似的模型架构（即Transformer）和预训练目标（即语言建模）。作为主要区别，LLM在很大程度上扩展了模型大小、预训练数据和总计算量（扩大倍数）。他们可以更好地理解自然语言，并根据给定的上下文（例如prompt）生成高质量的文本。这种容量改进可以用标度律进行部分地描述，其中性能大致遵循模型大小的大幅增加而增加。然而根据标度律，某些能力（例如，上下文学习）是不可预测的，只有当模型大小超过某个水平时才能观察到。 LLMs发展历程 （ZhaoWayneXin团队论文） 1.2GPT4 OpenAI开发的GPT-4是一种新型的大型语言模型（LLM），其早期版本只是一个语言模型，但它在各种领域和任务上表现出了非凡的能力，包括抽象、理解、视觉、编码、数学、医学、法律、对人类动机和情感的理解等等。 通过使用纯自然语言输入（prompts）与GPT-4进行交互。GPT-4可以以诗的形式回答提出的问题，用TiKZ（LATEX中创建图形的语言）画一只独角兽，或用Python创建一个复杂的动画，也是其擅长的工作，其甚至可以参加大学数学、物理和律师等高难度考试，成绩也是出乎意料的好。GPT-4很容易在所有这些任务上取得成功，其输出结果与人类基本上无法区分（甚至更好）。在不断的喂数据的过程中，GPT-4也在不断学习与进步，其性能与ChatGPT相比，已经由了长足的进步，尤其是在绘画内容生成方面。 GPT-4的通用性，那个让其与各种主体交互。在一些特定领域，其性能已经超过专用AI系统的性能。GPT-4在开放性任务中的能力是令人印象最为深刻的，例如编写图形用户界面（GUI），或就某些问题开展头脑风暴。这种生成性或交互式任务的基准也可以设计，但给出具体的量化评估指标非常困难。由于这些原因，我们没有对GP-4进行后一个基准上的测试，该基准本质上是可视化的，更适合于GPT-4的多模式版本。 1.3通用系统AutoML-GPT 大型语言模型（LLM）在文本理解、生成、互动、推理等方面具有巨大潜力，GPT-4等模型投入商用后，研究者尝试利用LLM探索通往通用人工智能 （AGI）的新道路。近期，来自德克萨斯州大学奥斯汀分校的研究者提出一种 新思路，即开发任务导向型prompt，利用LLM实现训练pipeline的自动化，并基于此思路推出新型系统AutoML-GPT。 AutoML-GPT使用GPT作为各种AI模型之间的桥梁，并用优化过的超参数来动态训练模型。AutoML-GPT动态地接收来自ModelCard和DataCard的用户请求，并组成相应的prompt段落。最后，AutoML-GPT借助该prompt段落自动进行多项实验，包括处理数据、构建模型架构、调整超参数和预测训练日志。AutoML-GPT的工作流程包括四个阶段：数据处理、模型架构设计、超参数调整和训练日志生成。 AutoML-GPT工作流程 （ZhangShujian团队论文） AutoML-GPT根据DataCard和ModelCard设置超参数，并通过生成超参数的训练日志来预测性能。在数据集上的模型性能训练日志记录了训练过程中收集的各种指标和信息，这有助于了解模型训练进展，找出潜在问题，以及评估所选架构、超参数和优化方法的有效性。 2.通用人工智能（AGI）的应用 2.1Microsoft365Copilot Microsoft365Copilot用于辅助用户在Microsoft365应用和服务中生成文档、电子邮件、演示文稿等，由OpenAI的GPT-4技术驱动，像一个助手一样出现在Microsoft365应用的侧边栏，作为一个聊天机器人，让Office用户可以随时召唤它，在文档中生成文本、根据Word文档创建PowerPoint演示文稿，甚至帮助使用Excel中的数据透视表等功能。Copilot还可以在微软的Office应用中被召唤，并在Word中根据其他文件草拟文档。然后用户可以自由地编辑和调整由AI生成的文本。由于Copilot本质上是一个聊天机器人，用户甚至可以要求它根据一个Word文档创建一个10页幻灯片演示文稿或分析或格式化Excel数据。 基于文本的自动生成演示文稿 （Microsoft） 2.2MidjourneyAI绘图工具 Midjourney发布了第五代V5模型之后，AI绘画被再次引爆。它展现出来的AI照片效果逼真、速度快，而且在使用上不需要部署任何本地硬件。由它生成的一张“中国情侣”图片因效果酷似真人而火爆出圈。由AI生成的图片和真正的照片在人眼视觉上已经没有了差别。 输入关键词：距离、车费、费用结算等的结果 （Midjourney） 3.通用人工智能（AGI）带来的需求变化 3.1芯片需求预期暴涨 采购一片英伟达顶级GPU成本为8万元，GPU服务器成本通常超过40万元。对于ChatGPT而言，支撑其算力基础设施至少需要上万颗英伟达GPUA100，一次模型训练成本超过1200万美元。从芯片市场角度出发，芯片需求的快速增加会进一步拉高芯片均价。 技术层面上，AI芯片根据其技术架构，可以分为GPU、FPGA（现场可编程门阵列）、ASIC（专用集成电路）和类脑芯片，同时CPU也可用以执行通用AI计算。当前GPU为AI生态主体，被广泛用于高性能计算、深度学习等领域；FPGA和ASIC等非GPUAI芯片则在快速迭代实现替代。 3.2电力需求旺盛 2023年以来，以ChatGPT为代表的新一代人工智能迎来跨越式发展，人工智能的热潮席卷而来，但是其背后的超高功耗也同样不容忽视。以世界上最为先进的Frontier超级计算机为例，直到2022年6月，其运算容量才首度超过人脑，但其耗能约是人脑的100万倍。百万倍级别的功耗差距也势必会带来用电需求几何倍数级别的增长。 根据流量监测网站Similarweb的数据统计，2023年3月ChatGPT吸引了全球近16亿次用户访问，较2月增长近六成，是1月时访问量（5.9亿次）的近3倍。访问量激增同时带来算力需求和能耗成倍数增长。假设每个用户平均每次访问提5个问题，则ChatGPT3月总咨询次数接近80亿次，对应日咨询量约为2.7亿次。根据英伟达A100GPU功耗推算，ChatGPT单月耗电量约等于一个30万人口的城市耗电量。 各类AGI模型参数及功耗 （Luccioni团队论文） 3.3铜金属需求增加 铜的电阻比铝要低，电阻较低意味着芯片速度将更快，在集成电路中使用铜将越来与广泛。新型高级芯片设计不断要求高纯度的铜，铜材料的需求保持较快增长势头。随着存储器制造商也从铝转向使用铜，又进一步促进了铜行业的增长。铜在高级芯片封装用途中的使用也同样在增长。 免责声明 此报告著作权归华龙期货股份有限公司所有，未经华龙期货股份有限公司的书面授权，任何人不得更改或以任何方式发送、复印、传播本报告的内容。此报告中所使用的商标、标记均为华龙期货股份有限公司的商标、标记。 此报告所载内容仅作参考之用，并不构成对任何人的投资建议，且华龙期货股份有限公司不因接收人收到此报告而视其为客户。 此报告所载资料的来源及观点的出处皆被华龙期货股份有限公司认为可靠，但华龙期货股份有限公司及研究人员对这些信息资料的准确性和完整性不作任何保证，也不保证本报告包含的信息或建议在本报告发出后不会发生任何变更，且本报告中的资料、意见和预测均反映本报告发布时的资料、意见和预测，可能在随后会做出调整。此报告中的操作建议为研究人员利用相关公开信息分析得出，仅供参考，据此入市风险自负。 此报告中所指的投资及服务可能不适合阁下，我们建议阁下如果有任何疑问应咨询独立投资顾问。本报告并不构成投资、法律、会计或税务建议，且不对任何投资及策略做担保，此报告不构成给予阁下的私人咨询建议。 联系我们 机构名称 地址 联系电话 邮编 兰州总部 甘肃省兰州市城关区静宁路308号4楼 4000-345-200 730000 深圳分公司 深圳市南山区粤海街道大冲社区大冲商务中心（三期）4栋17B、17C1702 0755-88608696 518000 宁夏分公司 银川市金凤区正源北街馨和苑10号商业楼18号营业房 0951-4011389 750004 上海营业部 中国（上海）自由贸易试验区桃林路18号A楼1309、1310室 021-50890133 200122 酒泉营业部 甘肃省酒泉市肃州区西文化街6号3号楼2-2室 0937-6972699 735211