2024先进人工智能安全国际科学报告-中期报告
先进人工智能安全国际科学报告 中期报告 2024年5月 贡献者 椅子 YoshuaBengio教授，蒙特利尔大学/Mila-魁北克人工智能研究所 专家咨询小组 Prof.BronwynFox，联邦科学与工业研究组织 (CSIRO)(澳大利亚) andréCarlosPoncedeLeonFerreiradeCarvalho，圣保罗大学数学和计算机科学研究所(巴西) Dr.MonaNemer，加拿大首席科学顾问(加拿大) RaquelPezoaRivera，FedericoSanta3月ía技术大学(智利) 曾毅博士，中国科学院空间研究所(中国)Juhaheikkilä，连接DG(欧洲联盟)GuillaumeAvrin，企业总局(法国) Antoniokrüger，德国人工智能研究中心(德国) 教授BalaramanRavindran，印度理工学院，马德拉斯(印度) Prof.HammamRiza，KORIKA(印度尼西亚) Dr.CiaránSeoighe，爱尔兰科学基金会(爱尔兰) Dr.ZivKatzir，以色列创新局(以色列) Dr.AndreaMonti，基耶蒂-佩斯卡拉大学(意大利) Dr.HiroakiKitano，日本索尼集团 MaryKerema，信息通信技术和数字经济部(肯尼亚) 何塞·拉蒙·洛佩斯·波蒂略博士，元素Q(墨西哥) Prof.HaroonSheikh，荷兰政府政策科学委员会(荷兰) Dr.GillJolly，商业、创新和就业部(新西兰) Dr.OlubunmiAjala，ninnovationandDigitalEconomy(尼日利亚) DominicLigot，CirroLytix(菲律宾) 教授KyoungMuLee，首尔国立大学电气与计算机工程系(大韩民国) AhmetHalithadip，土耳其工业和技术部(土耳其共和国) CrystalRugege，人工智能和创新政策国家中心(卢旺达) Dr.FahedAlbalawi，沙特数据和人工智能管理局(沙特阿拉伯王国) DeniseWong，信息通信媒体发展管理局(IMDA) 数据创新和保护小组(新加坡) dr.NuriaOliver，ELLISAlicante(西班牙) Dr.ChristianBusch，瑞士联邦经济事务、教育和研究部 OleksiiMolchanovskyi，乌克兰人工智能发展专家委员会(乌克兰) MarwanAlserkal，内阁事务部，总理办公室 (阿拉伯联合酋长国) SaifM.Khan，美国.商务部(美国) DameAngelaMcLean，英国政府首席科学顾问 AmandeepGill，联合国技术特使(联合国) 写作小组 DanielPrivitera(首席作家)，基拉中心 TamayBesiroglu，A时代I RishiBommasani，斯坦福大学马萨诸塞州StephenCasper，Ins技术研究所 YejinChoi，华盛顿大学/A12卡内基梅隆大学HodaHeidari，Mila-魁北克人工智能研究所HodaHeidari， LeilaKhalatbari，香港科技大学 科学协调员 SörenMindermann,Mila-QuebecAIInstitute 高级顾问 BayoAdekanmbi，尼日利亚数据科学 PaulChristiano，在美国人工智能安全研究所担任高级顾问之前 DavidDalrymple，研究+先进发明机构 (ARIA) 俄勒冈州立大学ThomasG.Dietterich，EdwardFelten，普林斯顿大学 香港科技大学PascaleFung在担任Meta职位之前曾担任高级顾问 Pierre-OlivierGourinchas,InternationalMonetaryFund(IMF) NickJenningsCBFREngFRS，拉夫堡大学AndreasKrause，苏黎世联邦理工学院PercyLiang，伯南布哥联邦大学斯坦福 大学TeresaLudermir， VidushiMarda,REALML HelenMargettsOBEFBA，牛津大学/艾伦·图灵研究所 秘书处 由AI安全研究所主办的英国政府秘书处 BenjaminPrud'homme，-魁北克AIInstitute ShayneLongpre，麻省理工学院 VasiliosMavroudis，伊利诺伊大学香槟分校MantasMazeika，艾伦图灵研究所KwanYeeNg,ConcordiaAI ChinasaT.Okolo，博士，布鲁金斯学会 DeborahRaji,Mozilla TheodoraSkeadas，《人文情报》 弗洛里安·特拉梅尔，苏黎世联邦理工学院 JohnA.McDermidOBEFREng，约克大学普林斯顿大学ArvindNarayanan，AlondraNelson，KAIST计算学院高级研究学院AliceOh， GopalRamchurn，英国RAI/UKRITASHub/南安普敦大学StuartRussell，加利福尼亚大学， 伯克利 斯坦福大学MarietjeSchaake， DawnSong，加州大学伯克利分校AlvaroSoto，智利天主教大学 LeeTiedrich，杜克大学 gaëlvaroquaux，国家数字科学与技术研究所(Inria) 姚明，清华大学跨学科信息科学研究所张亚勤，清华大学 致谢 秘书处感谢以下英国组织的有益支持，评论和反馈:AdaLovelace研究所，AlanTuring研究所，长期复原力中心，人工智能治理中心和英国人工智能安全研究所。还要特别感谢丹·亨德里克斯、迪伦·哈德菲尔德·梅内尔和帕梅拉·萨缪尔森。 ©皇冠警察2024 除非另有说明，本出版物根据开放政府许可证v3.0的条款获得许可。要查看此许可证，请访问 nationalarchives.gov.uk/doc/开放政府- 许可证/版本/3，或写信给信息政策小组，国家档案馆，Kew，伦敦TW94DU，或电子邮件: psi@nationalarchives.gsi.gov.uk 如果我们发现了任何第三方版权信息，您将需要获得相关版权所有者的许可。有关本刊物的任何查询，请发送给我们: secretariat.AIStateofScience@dsit.gov.英国 免责声明 本报告不代表主席、编写或咨询小组的任何特定个人，也不代表支持其发展的任何政府的观点。本报告是对高级AI能力和风险的现有研究的综合。报告主席对此负有最终责任，并自始至终监督其发展。 研究系列编号:DSIT2024/009 前言7 执行摘要9 1导言15 2的能力18 2.1通用AI如何获得其能力？18 2.2当前的通用AI系统能够实现19 2.2.1能力按方式20 2.2.2能力和限制技能21 2.3最近的趋势能力及其驱动因素22 2.3.1最近的趋势在计算，数据和算法22 2.3.2最近的趋势能力25 2.4能力进步在未来29 2.4.1，如果资源继续快速扩展，这是否会导致快速发展？30 2.4.2将迅速扩大资源规模？30 2.4.3算法的进步会带来快速的进步？32 3方法评估和理解通用人工智能系统34 3.1通用AI评估用于评估模型功能和影响。34 3.2模型性能分析方法35 3.2.1案例研究35 3.2.2基准35 3.2.3红色团队和对抗性攻击36 3.2.4审计37 3.3模型透明度、解释和解释38 3.4挑战与研究通用AI系统39 4风险41 4.1恶意使用风险41 4.1.1伤害个人通过虚假内容41 4.1.2虚假信息和操纵舆论42 4.1.3网络犯罪44 4.1.4双重用途科学风险45 4.2故障风险47 4.2.1风险来自产品功能问题47 4.2.2偏见和代表性不足的风险49 4.2.3失控51 4.3系统性风险54 4.3.1劳动力市场风险54 4.3.2全球AI鸿沟57 4.3.3市场集中风险和单点故障58 4.3.4危害环境59 4.3.5隐私风险60 4.3.6版权侵权61 4.4交叉风险因素63 4.4.1交叉技术风险因素63 4.4.2跨领域的社会风险因素66 5的技术方法来减轻风险68 5.1风险管理与安全工程68 5.1.1风险评估69 5.1.2风险管理70 5.2培训更多值得信赖的模型72 5.2.1使通用AI系统与开发人员的意图保持一致72 5.2.2减少幻觉的谎言74 5.2.3提高对故障的鲁棒性74 5.2.4消除危险能力75 5.2.5分析和编辑内部工作的模型75 5.3监测和干预76 5.3.1检测通用AI生成的内容76 5.3.2检测异常和攻击77 5.3.3解释模型动作77 5.3.4将保障措施纳入AI系统77 5.4技术方法公平和表示在通用人工智能系统78 5.4.1减轻偏见和歧视的工作贯穿于通用人工智能的开发和部署阶段79 5.4.2通用人工智能系统的公平性是实现的？80 5.4.3挑战实现公平的通用AI系统81 5.5隐私方法的通用AI系统81 6结论83 主席关于中期报告的说明84不同观点86 词汇表87参考文献91 关于高级AI安全性的国际科学报告:中期报告 前言 这份报告是人工智能安全之旅的开始 ，我很荣幸主持发布首届《高级人工智能安全国际科学报告》。我很自豪地发布这份中期报告，这是自2023年11月布莱奇利公园人工智能安全峰会委托这项工作以来的六个月里，许多专家付出了巨大努力的结果。 我们知道先进的人工智能正在迅速发展，而且这些先进的人工智能系统如何影响我们未来的生活和工作方式存在很大的不确定性。人工智能有巨大的潜力让我们的生活变得更好，但它也带来了伤害的风险。这就是为什么要进行彻底的分析 现有的科学文献和专家意见至关重要。我们知道的越多，我们就越有能力塑造我们的集体命运。 我们的使命很明确:推动对高级人工智能安全性的共享、基于科学的、最新的理解，并随着时间的推移继续发展这种理解。该报告正确地强调了专家之间存在共识的领域，以及对高级人工智能的能力和风险的分歧，特别是那些预计在未来开发的。为了有效地履行我们的使命，我们的目标是解决知识分子诚实的专家社区之间的分歧。通过剖析这些差异，我们为明智的决策铺平了道路，并刺激了有助于消除迷雾和减轻风险所需的研究。 我感谢我们的国际专家咨询小组的宝贵意见，这些意见最初确定了报告的范围，后来又对整个草案提供了反馈。他们的不同观点和认真审查扩大并加强了这份临时报告。同样值得认可的是我敬业的作家和高级顾问团队。他们在过去几个月的承诺创造了一个超出我预期的临时产品。我还要感谢英国政府启动这一进程并提供出色的运营支持。对我来说，同样重要的是，英国政府同意撰写这份报告的科学家应该拥有完全的独立性。 这份中期报告只是旅程的开始。毫无疑问，这份报告在第一次尝试中未能捕捉到的观点和证据。在这样的科学过程中，反馈是宝贵的。我们将纳入更多的证据和科学的观点，因为我们对最终版本的工作。 YoshuaBengio教授 蒙特利尔大学/Mila-魁北克人工智能研究所和主席 关于高级AI安全性的国际科学报告:中期报告 AI安全是一个共同的全球问题 我很高兴向您介绍有关高级AI安全性的第一份国际科学报告的临时更新，这是2023年11月在布莱奇利公园举行的开创性AI安全峰会的重要成果。这份具有里程碑意义的报告代表了全球前所未有的努力，以建立对人工智能快速发展所带来的机遇和风险的共同的，基于科学的理解，并证明了“布莱奇利效应”-召集才华横溢的头脑来应对人类最大的挑战之一。 我们认为，要实现人工智能造福人类的巨大潜力，需要积极努力，以确保安全、负责任地开发和部署这些强大的技术。没有一个国家能够独自应对这一挑战。这就是为什么我如此热衷于将一群世界领先的专家聚集在一起，贡献他们的知识和观点。我要特别感谢YoshuaBengio教授作为主席在巧妙地指导这一复杂的国际努力方面发挥的领导作用。 至
