重新思考对 AI 能源使用的担忧

重新思考关于 AI的能源使用 DanielCastro|2024年1月29日 关注数字技术使用的能源 并不新鲜。在互联网繁荣的高峰期附近1990年代，a福布斯文章哀叹，“在某处美国，每次一本书都会燃烧一块煤 网上订购”。1文章的作者，成为 在随后几年关于能源的辩论中被广泛引用政策，估计“一半的电网将是 在下一个时代为数字互联网经济提供动力十年”。2然而，估计是错误的，错误是它的事实和方法论。3事后看来，没有不再有任何争议，如国际能源署 (IEA)估计，当今的数据中心和数据输电网络“每个占大约1-1.5%的 全球用电量。“4 这个错误不是一个孤立的事件。许多头条新闻多年来出现的预测数字经济的能源 脚印会失控。5例如，作为流媒体战争 2019年开始-苹果，迪士尼，HBO和其他宣布视频流媒体订阅服务，与Netflix、亚马逊和 YouTube-多家媒体重复声称来自法国智囊团 “观看Netflix30分钟产生的排放是 就像开车4英里一样。"6但同样，估计是完全 错误(这更像是在10到100码之间行驶)，这是由于有缺陷的假设和转换错误的混合，智囊团 最终在一年后纠正。7 随着最近对人工智能(AI)的兴趣激增，人们再次提出了关于新兴能源使用的问题 技术。在这种情况下，批评家推测AI的快速采用 再加上深度学习模型规模的增加将导致 能源使用的大量增加，具有潜在的破坏性 环境影响。8然而，与过去的技术一样，许多关于人工智能消耗能源的早期说法已被证明是夸大和误导。本报告概述了辩论， 包括一些早期的失误以及它们是如何形成的政策对话，并澄清人工智能能源的记录 足迹以及未来几年可能会如何发展。它建议 政策制定者通过以下方式解决对人工智能能源消耗的担忧采取以下步骤： 为AI模型制定能源透明度标准。 寻求关于能源透明度的自愿承诺基础模型。 考虑AI法规对能源使用。 使用AI使政府运营脱碳。 关于AI的能量使用和碳排放的事实 准确估算AI的能源使用和碳排放 系统在其生命周期中具有挑战性，因为这些计算 取决于许多复杂的因素，包括有关芯片的详细信息，冷却使用的系统、数据中心设计、软件、工作负载和能源 用于发电。这个问题不是AI独有的。作为一组 能源研究人员在一篇文章中描述了这个问题Annual能源与环境回顾: 为信息创建可靠的电力需求估计技术充满了困难。底层数据未知 准确地说，经验数据是有限的，最有用的数据是通常是专有的，而且技术变化如此之快，甚至准确的数据很快就过时了。9 然而，一些研究试图量化当前和未来的 人工智能系统的能源需求和碳排放。不幸的是，一些最初的估计已经陷入了与过去早期研究相同的陷阱关于数字技术的能源使用，并产生了误导 估计。这些研究通常考虑AI所需的能量 系统在其生命周期中分为两个阶段：1)训练AI模型；以及2)使用AI模型来响应特定的查询-这个过程称为“推理”。 训练AI模型 马萨诸塞州阿默斯特大学的研究人员估计 2019年几个AI模型的碳排放，第一个主要模型之一同类研究。10研究发现BERT-当时是 Google最先进的大型语言模型（LLM）-发出 约1,438磅二氧化碳(CO2)在79小时的 使用64个高级图形处理单元(GPU)、芯片进行培训通常用于训练AI模型，因为它们具有优越的并行性处理能力。从这个角度来看，往返航班从 纽约到旧金山可产生约2,000磅的CO2 每位乘客的排放量。研究人员还估算了碳 用于训练用于神经架构搜索(NAS)的AI模型的发射自动寻找一个或多个神经网络的技术 给定任务的体系结构-计算最复杂的体系结构之一机器学习中的问题。具体来说，他们评估了能量使用NAS来创建更好的英语-德语机器 翻译模型。11研究人员估计，训练模型 问题产生了626,155磅的CO2排放量(大致相当于从东海岸到西海岸的300个往返航班)。12 毫不奇怪，鉴于新闻业倾向于负面 科技报道，几乎所有流行媒体的头条新闻都集中在 尽管它的用例狭窄，但在后一种估计上。13即使受到尊重科学新闻媒体，如麻省理工学院技术评论这样的头条新闻 作为“训练一个单一的人工智能模型可以排放与五辆汽车一样多的碳 lifetimes."14这些文章表明，需要大量的能源 训练这个特定的AI模型是正常的，尽管这个估计很清楚指的是一个非典型的例子。这就像一个汽车新闻媒体 发表一篇文章，建议“驾驶汽车排放的碳与一架飞机“仅基于一项研究环境影响的研究飞行汽车的原型。 此外，原始的研究论文和随后的新闻 文章经常指出，虽然大型人工智能模型的性能优于现有的在语言翻译基准测试中，改进只是 边际。这意味着人工智能研究人员正在做琐碎的事情性能改进以牺牲大量的 碳排放。事实上，其他人工智能研究人员在一份报告中明确了这一点广泛阅读的论文“关于随机鹦鹉的危险：可以语言” 模型太大？”15他们认为这是“环境种族主义” 富裕的西方国家部署更大的AI模型，因为这些AI 系统将对全球贫困社区产生负面影响南方。具体来说，他们写道: 例如，问马尔代夫的居民是否公平或公正 （到2100年可能会在水下）或苏丹的80万人受严重洪水影响的培训和环境代价 部署越来越大的英语[语言模型]，当类似的大- 没有为Dhivehi或苏丹阿拉伯语生产比例模型？16 考虑到这些指控-训练AI系统不仅对 环境，但也是一种公开的种族主义行为-这并不奇怪，许多人政策制定者对人工智能的能源消耗提出了质疑。 然而，2019年研究中的头条新闻估计是疯狂的 不正确-就像许多先前关于能源足迹过大的说法一样数字技术。马萨诸塞州阿默斯特大学 研究人员做出了几个错误的假设，严重夸大了他们的估计使用的总能源和碳排放量。在 对2019年研究的回应，参与NAS模型的研究人员提供了能源使用和碳排放的详细摘要 他们的工作，指出为什么外部研究人员的估计是错误的。实际排放量比先前研究的估计值小88倍。17 不幸的是，大众媒体很少注意纠正 记录或注意新的发现，所以最初的印象住在。 研究人员在随后的几年中发表了多项研究估算训练许多知名AI模型所需的能量 作为他们的碳排放量。如表1,虽然更大的模型 通常需要比较小的能源使用更多的能源，确切地说不同的AI模型之间的数字差异很大。例如， 研究人员估计，训练GPT-3-1750亿个参数AI 流行的ChatGPT应用程序中使用的模型-创建552tCO2排放量，但包括OPT在内的可比AI模型(1750亿Meta创建的参数AI模型)和Gopher(一个2800亿参数Google创建的AI模型）的碳足迹明显较小。 此外，训练AI模型的效率不断提高。对于 例如，在GPT-3之后的18个月，谷歌生产了GLaM，LLM为1.2 万亿参数。尽管GLaM比GPT-3大将近7倍并且优于其他AI模型，GLaM需要少2.8倍 能量训练。18最后，用于为数据中心供电的能源组合开发人员训练AI模型会影响其碳排放。对于 例如，BLOOM的开发人员使用法国的数据中心核能，减少了碳足迹。19 尽管有了新的研究，但批评人工智能的团体一再引用最初的不正确研究他们要求决策者减少 对大规模计算资源的投资。例如，美国公民自由联盟（ACLU）致信科学和2021年10月的技术政策(OSTP)抱怨 白宫计划中的国家人工智能研究的“环境成本”资源(NAIRR)，并认为“NAIRR应该专注于提供替代关注数据和计算的应用程序 许多工业和研究实验室。“20同样，人工智能中心和数字政策在2022年错误地声称：“支持AI的系统需要计算能力呈指数级上升。这种计算能力的增加 需要大量的能源消耗，产生巨大的碳 足迹和颠覆数字化的绿色效应。“21在每种情况下，尽管有大量证据表明他们是 误导和夸大。 表1：训练各种AI模型的估计能源需求 CO2 排放量 模型 #of 参数(型号x#) 芯片 Hours 能源(MWh) (公制Tons) Estimate来源 BERT 0.1BV100x64 791.50.7 Strubell等Al.，201922 GPT-2 1.5BTPUv3x32 168 1.7* 0.7*Strubell等 Al.，201923 Llama2 7BA100x(n/a) N/A 74* 31.2 Meta,202324 Llama2 13BA100x(n/a) N/A 147* 62.4 Meta,2023 Llama2 70BA100x(n/a) N/A 688* 291.4 Meta,2023 LaMDA 137BTPUv3x1024 1,385 451 26 Thoppilanetal.,202225 GPT-3 175BV100x10000 355 1,287 552 帕特森等 al.，2021年26 OPT 175BA100x992 N/A N/A 75 张等人， 202227 布卢姆 176BA100x384 2,820* 43324.7 Luccionietal.,202228 地鼠 280BTPUv3x4096 920 1,151* 380 Rae等人， 202229 PaLM 540B TPUv4x6144TPUv4x3072 1200 326 3,436*271.4 Chowderyetal.,202230 GPT-4 1,800BA100x25000 2280 N/A N/A 沃克,202332 GLaM 1,162BTPUv4x(n/a) N/A 456 40 帕特森等 al.,202231 *根据现有数据推断，详见附录 使用AI模型 尽管政策制定者和媒体对能源成本的关注 在训练人工智能模型的过程中，多项研究得出的结论是，大多数 与AI系统相关的能源成本来自使用AI模型-a 称为“推断”的过程(因为模型是推断结果 基于给定的输入）。例如，AmazonWebServices估计 AI模型90%的成本来自推理。33同样，a 施耐德电气的研究估计，80%的人工智能工作量2023年的数据中心是来自推理，20%是用于培训。34最后，Meta研究人员的一项研究指出，确切的分解 训练与推理之间的差异在不同的用例中有所不同。对于LLM，他们估计推断与65%的碳有关 足迹，但对于参数必须为的推荐模型 根据新数据经常更新，他们估计平均分裂在训练和推理之间。35 多个因素影响推理过程中使用的能量，包括任务类型和AI模型。如表2,能源推理的要求可能因任务而异。例如， 使用AI模型对文本进行分类通常计算强度较低 （因此使用更少的能量）比使用AI生成图像。36不同 AI模型也有不同的能源成本，并且在特定模型中 (例如，Llama27B与Llama270B)，更多的参数通常需要更多的能量来推断。 表2：按任务划分的每1,000个查询的平均能耗37 任务 kWh 文本分类 0.002 图像分类 0.007 对象检测 0.038 文本生成 0.047 Summarization0.049 图像生成 2.907 鉴于训练特定的AI模型会产生一次性成本，而 使用AI模型会随着时间的推移继续消耗能量，这是有道理的用于AI的大部分能量最终将来自推理。它 这也意味着运行AI模型的能源需求将有一个 对人工智能系统的整体能源使用产生重大影响。虽然大多数批评人士将注意力集中在用于训练AI模型的能量上，有些人对推理过程中使用的能量表示担忧。38For 例如，写在2023年10月版的杂志上焦耳,一研究人员估计，与LLM互动需要大约 10倍于进行典型的网络搜索查询的能量，以及从这一估计推断得出的结论是“最坏的情况 下一篇：谷歌的AI可以消耗与一个国家一样多的电力例如爱尔兰（每年29.3TWh）。”39 有很多理由怀疑这种“最坏情况”正在发生在2022年，谷歌的全球能源消耗总量 整个公司是21.8TWh。40对于最坏情况的预测 诚然，谷歌仅对人工智能的能源使用就必须超过其当前全球能源使用总量。确实，该公司的能源 消费随着时间的推移而增长，特别是来自其数据中心的消费，因为其业务增长。例如，Goog