2024重新思考对人工智能能源使用的担忧报告

重新思考对AI能源使用的担忧 DanielCastro|2024年1月29日 对数字技术所使用的能源的担忧并不新鲜。在1990年代互联网繁荣的高峰期附近，福布斯的一篇文章感叹：“在美国的某个地方 ，每次在线订购一本书时，都会燃烧一块煤。”1该文章的作者在随后几年的能源政策辩论中被广泛引用，估计“未来十年内，一半的电网将为数字互联网经济提供动力”。2然而，这一估计是错误的，其事实和方法都有错误。3事后看来，不再存在任何争议 ，因为国际能源署（IEA）估计，当今的数据中心和数据传输网络“各自约占全球用电量的1-1.5％”。4 这个错误不是一个孤立的事件。多年来，出现了许多头条新闻，预测数字经济的能源足迹将失控。5例如，随着2019年流媒体大战的开始-苹果，迪士尼，HBO和其他公司宣布与Netflix，亚马逊和YouTube竞争的视频流订阅服务-多家媒体重复法国智库声称“观看30分钟的Netflix所产生的排放与驾驶近4英里相同”。6但同样，这个估计是完全错误的(更像是在10到100码之间行驶)，这是由于有缺陷的假设和转换错误的混合造成的，智囊团最终在一年后纠正了这些错误。7 随着最近对人工智能（AI）的兴趣激增，人们再次对新兴技术的能源使用提出质疑。在这种情况下，批评家推测AI的迅速采用 再加上深度学习模型规模的增加，将导致能源使用量的大幅增加，并对环境造成潜在的破坏性影响。8然而，与过去的技术一样，许多关于人工智能消耗能源的早期说法已被证明是夸大和误导的。这份报告概述了这场辩论，包括一些早期的失误以及它们是如何塑造政策对话的，并澄清了人工智能的能源足迹以及它在未来几年可能如何发展的记录。它建议政策制定者通过采取以下步骤来解决对人工智能能源消耗的担忧： 为AI模型制定能源透明度标准。 为基础模型寻求关于能源透明度的自愿承诺。 考虑AI法规对能源使用的意外后果。 使用AI使政府运营脱碳。 关于AI的能量使用和碳排放的事实 对人工智能系统在其生命周期内的能源使用和碳排放进行准确估计是具有挑战性的 ，因为这些计算取决于许多复杂的因素，包括芯片、冷却系统、数据中心设计、软件、工作负载和用于发电的能源的细节。这个问题并不是AI独有的。正如一组能源研究人员在《能源与环境年度评论》中的一篇文章中描述的那样： 为信息技术创建可靠的电力需求估计充满困难。底层数据无法精确了解，经验数据有限，最有用的数据通常是专有的，技术变化如此之快，甚至准确的数据也很快过时。9 然而，一些研究试图量化人工智能系统当前和未来的能源需求和碳排放。不幸的是 ，一些最初的估计已经陷入了与过去关于数字技术能源使用的早期研究相同的陷阱 ，并产生了误导性的估计。这些研究通常分两个阶段考虑AI系统在其生命周期中所需的能量：1）训练AI模型；2）使用AI模型来响应特定查询-这一过程称为“推理”。." 训练AI模型 马萨诸塞州阿默斯特大学的研究人员在2019年估计了几种AI模型的碳排放量 ，这是同类研究中的首批主要研究之一。10研究发现，BERT-当时是Google 最先进的大型语言模型（LLM）-发出 约1,438磅二氧化碳(CO2）在使用64个高级图形处理单元（GPU）的79个小时的训练中，由于其优越的并行处理能力，通常用于训练AI模型的芯片。从纽约到旧金山的往返飞行会产生大约2,000磅的CO2每位乘客的排放量。研究人员还估计了用于训练AI模型以进行神经架构搜索（NAS）的碳排放量，这是一种为给定任务自动找到一个或多个神经网络架构的技术，这是机器学习中计算最复杂的问题之一。具体来说，他们评估了用于创建更好的英德机器翻译模型的NAS的能耗。11研究人员估计，训练所讨论的模型产生了626,155磅的CO2排放量(大致相当于从东海岸到西海岸的300次往返航班)。12 毫不奇怪，鉴于新闻倾向于对科技的负面报道，尽管它的用例狭窄，但几乎所有流行媒体的头条新闻都集中在后者的估计上。13甚至像《麻省理工学院技术评论》这样受人尊敬的科学新闻媒体也刊登了这样的头条新闻：“训练一个人工智能模型可以在其一生中排放五辆汽车的碳。14这些文章表明，训练这种特定的AI模型所需的大量能量是正常的，尽管这一估计显然是指一个非典型的例子。这就像一家汽车新闻媒体发表一篇文章，仅基于一项研究飞行汽车原型对环境的影响，建议“驾驶汽车排放的碳与飞机一样多”。 此外，原始研究论文和随后的新闻文章经常指出，虽然大型AI模型在语言翻译基准方面优于现有模型，但改进只是微不足道的。这意味着人工智能研究人员正在以不平凡的碳排放为代价进行微不足道的性能改进。事实上，其他人工智能研究人员在一篇广泛阅读的论文“关于随机鹦鹉的危险：语言模型会太大吗？”中明确了这一点。15他们认为，富裕的西方国家部署越来越大的人工智能模型是“环境种族主义” ，因为这些人工智能系统将对全球南方的贫困社区产生负面影响。 例如，当没有为Dhivehi或苏丹阿拉伯语生产类似的大规模模型时，马尔代夫的居民（到2100年可能会在水下）或苏丹遭受严重洪水影响的80万人支付培训和部署更大的英语[语言模型]的环境代价是公平的还是公正的？16 考虑到这些指控——培训人工智能系统不仅对环境有害，而且是一种公开的种族主义行为——许多政策制定者对人工智能的能源消耗提出了质疑也就不足为奇了。 然而，2019年研究中的头条新闻估计是疯狂的 不正确-就像许多先前关于数字技术的过大能源足迹的说法一样。马萨诸塞州阿默斯特大学的研究人员做出了一些错误的假设，严重夸大了他们对所使用的总能源和碳排放量的估计。作为对2019年研究的回应，参与NAS模型的研究人员提供了他们工作中能源使用和碳排放的详细总结，并指出了为什么外部研究人员的估计是错误的。实际排放量比早期研究的估计值小88倍。17不幸的是，大众媒体很少注意纠正记录或注意新发现，因此最初的印象 住在。 研究人员在随后的几年中发表了多项研究，估计了训练许多知名AI模型所需的能量以及它们的碳排放量。如表1所示，虽然较大的模型通常比较小的模型需要更多的能源使用，但不同AI模型的确切数字差异很大。例如，研究人员估计，训练GPT-3 -流行的ChatGPT应用程序中使用的1750亿个参数AI模型-创建了552tCO。2排放量，但可比较的AI模型，包括OPT（由Meta创建的1750亿参数AI模型）和Gopher（由Google创建的2800亿参数AI模型）的碳足迹明显较小。 此外，训练AI模型的效率不断提高。例如，在GPT-3之后的18个月，Google生产了GLaM，这是一个具有1.2万亿个参数的LLM。尽管GLaM比GPT-3大了近7倍，并且优于其他AI模型，但GLaM所需的训练能量却少了2.8倍。18最后 ，用于为开发人员训练AI模型的数据中心供电的能源组合会影响其碳排放。例如 ，BLOOM的开发人员使用了由核能供电的法国数据中心，从而减少了碳足迹。19 尽管有了新的研究，但对人工智能持批评态度的团体在要求政策制定者减少对大规模计算资源的投资时反复引用了最初不正确的研究。例如，美国公民自由联盟（ACLU）于2021年10月致信科学技术政策办公室（OSTP），抱怨白宫计划中的国家人工智能研究资源（NAIRR）的“环境成本”，并辩称“NAIRR应专注于为许多行业和研究实验室关注的数据和计算需求应用程序提供替代方案。."20同样，AI和数字政策中心在2022年错误地声称：“启用AI的系统需要成倍增长的计算能力 。这种计算能力的增加需要大量的能源消耗，从而产生巨大的碳足迹并颠覆数字化的绿色效应。”21在每种情况下，尽管有大量证据表明它们具有误导性和夸大性，但他们还是提出了这些主张。 参数数量 模型 芯片(型号x #) CO2 排放量（ 公吨） Hours 能量 (MWh) 估计来源 表1：训练各种AI模型的估计能源需求 BERT 0.1B V100x64 79 1.5 0.7Strubell等 人，201922 GPT-2 1.5B TPUv3x32 168 1.7* 0.7*Strubell等 人，201923 Llama2 7B A100x（不适用） Llama2 13B A100x（不适用） Llama2 70B A100x（不适用 Meta, N/A 74* 31.2 202324 N/A 147* 62.4 Meta,2023 N/A 688* 291.4 Meta,2023 ） LaMDA 137B TPUv3x1024 1,385 451 26Thoppilan等人，202225 GPT-3 175B V100x10000 355 1,287 552帕特森等人 ，2021年26 OPT 175B A100x992 N/A N/A 75Zhang等人 ，202227 布卢姆 176B A100x384 2,820* 433 24.7Luccioni等人， 202228 地鼠 280B TPUv3x4096 920 1,151* 380Rae等人 ，202229 TPUv4x6144 1200 Chowderyet PaLM540B TPUv4x3072 3,436*271.4 326 al.,202230 GLaM 1,162BTPUv4x(n/a) N/ 456 40 Patterson等 人，202231 GPT-41,800BA100x250002280不适用不适用沃克, *根据现有数据推断，详见附录 202332 使用AI模型 尽管政策制定者和媒体关注培训AI模型的能源成本，但多项研究得出的结论是，大多数 与AI系统相关的能源成本来自于使用AI模型—这一过程称为“推理”（因为模型是根据给定的输入推断结果）。例如，AmazonWebServices估计AI模型90%的成本来自推理。33同样，施耐德电气的一项研究估计，2023年数据中心中80%的人工智能工作量来自推理，20%用于培训。34最后，Meta研究人员的一项研究指出 ，训练与推理之间的确切细分因用例而异。对于LLM，他们估计推理与65％的碳足迹有关，但是对于必须根据新数据频繁更新参数的推荐模型，他们估计训练与推理之间的平均差距。35 例如,使用AI模型对文本进行分类通常比使用AI生成图像计算强度低(因此使用更少的能量)。36不同的AI模型也具有不同的能量成本,并且在特定模型中(例如,Llama27B与Llama270B),更大量的参数通常需要更多的能量来推断。 表2：按任务划分的每1,000个查询的平均能耗37 任务 kWh 文本分类 0.002 图像分类 0.007 对象检测 0.038 文本生成 0.047 Summarization 0.049 图像生成 2.907 考虑到训练一个特定的人工智能模型会产生一次性成本，而使用人工智能模型会随着时间的推移继续消耗能量，人工智能使用的大部分能量最终将来自推理是有道理的。这也意味着运行AI模型的能源需求将对AI系统的整体能源使用产生重大影响。虽然大多数批评家都将注意力集中在训练AI模型的能量上，但有些人对推理过程中使用的能量表示担忧。38例如，在2023年10月出版的《焦耳》杂志上，一位研究人员估计，与LLM互动需要大约 10倍于进行典型的网络搜索查询的能量，并从该估计推断得出结论：“最坏的情况表明，仅Google的AI就可以消耗与爱尔兰等国家（每年29.3TWh）一样多的电力。”39 有很多理由怀疑这种“最坏情况”的情况即将到来。2022年，谷歌整个公司的全球总能耗为21.8TWh。40为了使最坏的预测属实,谷歌仅用于人工智能的能源使用量就必须超过其目前的全球能源使用量。确实,随着业务的增长,该公司的能源消耗随着时间的推移而增长,尤其是数据中心的能源消耗。例如,谷歌数据中心在2022年的用电量比前一年增加了约3TWh。41但是，尽管它的整体能源使用量有所增长，但在2019年至2021年的三年中，它用于机器学习的能源比例保持不变-