面向未来的前沿人工智能监管（英）

2024年3月 面向未来的前沿AI监管 为前沿AI模型预测未来计算 PaulScharre 关于作者 PaulScharre是新美国安全中心（CNAS）的执行副总裁兼研究主任。他是《四个战场：人工智能时代的力量》一书的获奖作者。 他的第一本书《无军：自主武器和战争的未来》获得了 Acknowledgments 我对Epoch的研究人员表示感谢，这份报告依靠他们的分析。他们的人工智能趋势的研究是理解人工智能革命的宝贵资源，我希望这份报告有 助于进一步向政策制定者展示他们的见解。这份报告建立在我所感激的众多学者的先前研究和分析的基础上，包括DarioAmodei、Markus 2019年科尔比奖，被评为比尔·盖茨2018年的前五本书之一，并被《经济学人》评为了解现代战争的前五本书之一。 在布什和奥巴马政府的国防部长办公室，他在制定无人驾驶和自主系统以及新兴武器技术的政策方面发挥了领导作用。他领导了 国防部（DoD）工作组起草了DoD指令3000.09，建立了该部门关于武器系统自主性的政策。他拥有伦敦大学国王学院的战争研究博士学位，政治经济学和公共政策硕士学位，以及圣华盛顿大学的物理学学士学位。路易斯在国防部长办公室工作之前，沙雷曾在陆军第3游骑兵营担任步兵，狙击手和侦察队队长，并完成了多项任务。 在伊拉克和阿富汗旅行。他毕业于陆军空降兵，游骑兵和狙击手学校，并且是第75游骑兵团游骑兵灌输计划的荣誉毕业生。 关于技术与国家安全计划 CNAS技术与国家安全计划探讨了与新兴技术相关的政策挑战。该计划的重点是将技术和政策社区聚集在一起，以更好地了解这些挑战 开发解决方案。 关于人工智能安全与稳定项目 CNASAI安全与稳定项目是一项为期多年、多项目的工作，旨在解决与人工智能相关的既定和新出现的风险。这项工作的重点是预测和减轻灾难性的人工智能故障，改善美国S.国防部的人工智能测试和评估流程，了解和塑造计算治理的机会，以及了解中国和俄罗斯在人工智能和稳定性方面的决策。 Anderljung、TamayBesiroglu、TomB.Brown、RyanCarey、 AjeyaCotra、BenCottier、EgeErdi Heim,DayHeradez,AsoHo,MarisHobbhah,SaifM.Kha,AdrewJ.Loh，AlexaderMa，MicahMsser，JaimeSevilla和PabloVillalobos。我特别感谢MarsAderljg，TamayBesirogl，BeCottier，LeartHeim和JaimeSevilla对本报告早期草案的宝贵意见。CNAS研究助理MichaelDepp提供了有价值的背景研究，反馈，编辑和引用协助。和参考书目。感谢CNAS同事MauraMcCarthy、MelodyCook、Rin Rothback和AnnaPederson在本报告的审查、制作和设计中的角色。任何错误都是作者的责任。在OpenPhilanthropy的慷慨支持下，本报告得以实现 。 作为一家致力于组织，知识和个人诚信的最高标准的研究和政策机构，CNAS保持严格的知识独立性和对其思想，项目，出版物，活动和其他研究活动的唯一编辑指导和控制。CNAS在政策问题上不采取机构立场，CNAS出版物的内容仅反映其作者的观点。根据其使命和价值观，CNAS不参与游说活动，并完全遵守所有适用的联邦、州和地方法律。CNAS不会代表任何实体或利益参与任何代表活动或宣传，并 该中心在接受非美国来源资助的范围内，其活动将仅限于与适用的联邦法律相一致的真正的学术，学术和研究相关活动。该中心每年在其网站上公开承认所有捐款的捐助者。 TABLEOFCONTENTS 01执行摘要 03Introduction 第一部分：背景06成本和对AI模型的访问 07对政策制定者的影响 08了解成本和计算增长 09相关工作 12当前最佳估计和假设 第二部分：分析17成本和计算预测 21成本增长限制 23硬件改进的限制 27增殖 28硬件受限演员的成本 32计算监管阈值 35Conclusion 36附录 44精选参考书目 技术与国家安全|2024年3月 面向未来的前沿AI监管：预测前沿AI模型的未来计算 执行摘要 P olicmakersshouldpreparedforaworldofsignifi-cantlymorepowerfulAIsystemsoverthenextdecade.Thesedevelopmentscouldhappenwithout 人工智能科学的根本突破，只需扩展当今的技术，在更多的数据和计算上训练更大的模型。 在接下来的十年中，用于训练前沿AI模型的计算量（计算）可能会大大增加。到2020年代末或2030年代初，用于训练前沿AI模型的计算量大约是用于训练GPT-4的1000倍。 Accountingforalgorithmicprogress,theamountofeffective-tivecomputecouldbeapproximatelyonemilliontimesthatusedtotrainGPT-4.Thereissomeuncertaintyaboutwhenthesethresharmescouldbereached,butthislevel 在预期的成本和硬件限制下，增长似乎是可能的。 在没有政府干预的情况下，这种规模的改进是可能的，完全由当今大型科技公司规模的私营公司资助。它们也不需要芯片制造或设计方面的根本性突破。超出当今私营公司限制的支出增加，或者从根本上说，新的计算范式可能会导致更大的计算增长。 训练前沿AI模型的成本上升可能会推动研究前沿的寡头垄断 ，但能力可能会迅速扩散。目前，算法的进步和硬件的改进迅速降低了训练以前最先进的模型的成本。 按照目前的趋势，在五年内，在任何给定能力水平下训练模型的成本都会降低 大约增加了1000倍，或者大约是原始成本的0.1%，这使得培训变得更加便宜，并且增加了可及性。 TheU.S.政府已经对运往中国的先进人工智能芯片实施了出口管制 ，并且拒绝参与者获得硬件改进，随着时间的推移，相对能力的差距越来越大。拒绝获得硬件改进的演员将很快被定价，无法跟上前沿研究的步伐。到2027年，如果出口管制保持在当前的技术门槛并最大限度地有效，使用较旧的、符合出口要求的芯片可能会导致大约十倍的培训成本损失。 然而，任何给定水平的人工智能能力的扩散只会再推迟几年。目前 ，在任何给定的AI能力水平下，训练模型的成本都由于算法的进步而迅速下降。如果算法改进继续广泛可用，则硬件受限的参与者将能够训练具有相当于曾经前沿模型的功能的模型，仅比前沿模型落后两到三年。 用于训练前沿AI模型的计算机随着时间的推移而出现 训练计算(FLOP) 1033 到2020年代末或2030年代初 ，用于训练前沿AI模型的计算量可能会增加到GPT-4的1000倍左右，即使考虑到成本和硬件限制。 1032 1百万×GPT-4 1031 1030 1029 1028 1,000×GPT-4 1027 1026 GPT-4估计计算 2022 2024 2026 2028 2030 20322034 2036 2038 2040 2042 计算(会计成本 和硬件约束)(95%置信区间) 高低计算估计 1 @CNASDC 有效计算 （2022FLOP等效） 1百万×GPT-4 1,000×GPT-4 GPT-4估计计算 通过算法改进，有效的计算随时间增长 1033 计算算法进度，使用的有效计算量到2020年代末或2030年代初，训练前沿AI模型的GPT-4可能是100万倍。 1032 1031 1030 1029 1028 1027 1026 20222024202620282030203220342036203820402042 有效计算(考虑成本和硬件限制) 高低有效计算估计 （95%置信区间） AI模最型终培的训成运本行随的着成本时间的推移而上升 （2022美元） 美国GDP（23万亿美元） $1000亿 200亿美元 训练前沿 $10T $1T $100B $10B $1B $100M 目前，培训前沿AI模型的成本大约每10 个月翻一番。随着成本接近私营公司的极限 ，成本增长预计将放缓，目前成本高达数百亿美元。 在此预测中，任意假设成本倍增期每年增加1.5个月，从而减慢了成本增长率。 20222024202620282030203220342036203820402042 培训费用(任意锥形成本增长预测) 高-低成本估算 （95%置信区间） 2 技术与国家安全|2024年3月 面向未来的前沿AI监管：预测前沿AI模型的未来计算 获得计算和算法改进都在推动人工智能前沿的进步和影响能力扩散的速度以及向谁扩散方面发挥着重要作用。目前，由于硬件改进和计算支出的增加，用于训练大型AI模型的计算量每七个月翻一番。对于大型语言模型，算法效率——以更少的计算量实现相同性能水平的能力——大约每八到九个月就会翻一番。改进的性能来自增加的计算和算法改进。如果由于成本上升和/或硬件性能增益下降，计算增长在2030年代放缓，那么前沿模型的未来进展可能在很大程度上取决于算法的改进。目前,算法效率的快速改进使得能力的快速增殖成为所需的计算量。 以任何给定的性能水平快速训练模型 最近，一些领先的人工智能实验室已经开始保留有关其最先进模型的信息。如果算法改进进展缓慢或变得不那么广泛，这可能会减缓人工智能前沿的进展，并导致能力扩散更慢。 尽管人工智能的未来发展存在很大的不确定性，但当前的趋势表明，未来的人工智能系统将比当今的最新技术强大得多。人工智能前沿最先进的系统最初将仅限于少数参与者，但可能会迅速扩散。政策制定者今天应该开始建立一个监管框架，为这做准备 未来。建立预期的监管框架至关重要，因为人工智能进展与决策过程之间的速度脱节，难以预测新人工智能系统用于特定任务的能力，以及人工智能模型在缺乏监管的情况下今天扩散的速度。等待监管前沿人工智能系统，直到具体的危害成为现实，几乎肯定会导致监管为时已晚。 如果当前趋势继续下去，用于训练模型的计算量可能会成为有效的监管途径。大量计算是训练前沿AI模型的入门成本。在未来10到15年内，计算作为训练最强大的AI系统的重要输入，可能会变得越来越重要。 然而，对计算访问的限制可能会减缓但不会阻止能力的扩散，因为 随着时间的推移，算法进步的能力使训练人工智能系统在较少的计算上具有同等的性能。如果与模型本身的法规配对，例如对某些训练模型的出口控制，计算法规将更加有效。 Introduction P 政策制定者和行业领导者已经增加了对法规的高度关注强大的通用AI模型，有时称为“前沿”模型。当前前沿 AI模型的示例包括GPT-4（OpenAI），Claude3（Anthropic）和GeminiUltra（Google）。公司已经在使用越来越多的数据和计算硬件来训练更大，更强大的下一代模型。 用于训练前沿AI系统的计算正以不可持续的速度增长。 从2010年到2022年，用于训练最先进的机器学习模型的计算或计算增加了100亿倍，并且每六个月翻一番。1对于最大的模型，用于训练的计算量大约每七个月翻一番。这种计算的快速增长超过了硬件改进的速度，部分原因是培训支出的增加。训练最大模型的成本大约每10个月翻一番。2培训当前前沿模型的成本 Theorderofdentsofmillionsofdollarsjustforthefinaltrainingrun.Thefullcostfortrainingfrondermodelstoday,accountingforearlytrainingrunandexpert-iments,couldcostaround$100millio