国土安全部关于降低人工智能与化学、生物、放射性和核威胁交叉点风险的报告（英文）

国土安全部关于减少人工智能与化学、生物、放射性和核威胁交叉点风险的报告 2024年4月26 日 此页面故意留空。 消息来自秘书 2024年4月26日 我很高兴提交以下报告，“国土安全部关于减少人工智能与化学，生物，放射和核威胁交汇风险的报告”，该报告由国土安全部（DHS）反大规模毁灭性武器办公室（CWMD）编写。 该报告是根据2023年10月30日关于人工智能的安全，安全和可信开发和使用的第14110号行政命令（E.O.）编写的。E.O.的第4.4节强调需要“更好地理解和减轻AI被滥用以协助开发或使用CBRN威胁的风险-特别关注生物武器。” TheE.O.任务“国土安全部部长与能源部长兼科学和技术政策办公室主任协商”，“评估人工智能被滥用以开发或生产CBRN威胁的可能性，同时考虑人工智能的好处和应用来应对这些威胁……”O.还要求“向总统提交一份报告，描述这些努力的进展，包括评估可能给美国带来CBRN风险的人工智能模型类型，并为规范或监督这些模型的培训、部署、发布或使用提出建议，包括对安全评估和护栏的要求，以减轻对国家安全的潜在威胁。." 这份报告侧重于人工智能启用的化学和生物制剂，由人工智能和CBRN问题专家为国土安全部、能源部、私人人工智能实验室、学术界和第三方模型评估人员提供的投入和建议编写。该报告旨在提供有关如何确保安全，可靠和可信赖的人工智能开发和使用的长期目标，并指导潜在的机构间后续政策和实施工作。 根据E.O.，该报告将提供给美国总统。 Sincerely, 尊敬的AlejandroN.Mayorkas秘书美国国土安全部 目录 1.执行摘要1 2.Introduction3 3.背景：AI4的趋势 3.1AI4的总体趋势 3.2AI治理和监督趋势5 3.3物理和生命科学中的AI6 4.AI滥用以实现CBRN威胁的开发或生产8 5.AI应对CBRN威胁的好处和应用16 6.首字母缩略词和缩写20 1.执行摘要 2023年10月30日，拜登总统签署行政命令（E.O.)14110关于人工智能的安全、可靠和可信的开发和使用。E.的总体目标O.是“确保美国在抓住人工智能（AI）的承诺和管理风险方面处于领先地位”，并为安全和负责任地开发和使用AI建立治理框架。 国土安全部（DHS）在执行E.O.的行动中发挥了关键作用。E.的第4.4（a）节O.强调需要“ 更好地理解和减轻人工智能被滥用以协助开发或使用CBRN威胁的风险-特别关注生物武器。在国土安全部内，反大规模毁灭性武器办公室（CWMD）负责领导国土安全部的工作，并与国内和国际伙伴协调，以保护美国免受化学，生物，放射性和/或核（CBRN）威胁。CWMD领导了AICBRN报告的开发，该报告评估了“AI被滥用以开发或生产CBRN威胁的可能性，同时还考虑了AI应对这些威胁的好处和应用。." AICBRN报告是通过美国政府（USG），学术界和工业界的强有力合作制定的。CWMD征求 了国土安全部机构和办公室的见解，并咨询了能源部、私人AI实验室、学术界、思考感谢和第三方模型评估人员的AI和CBRN问题专家，以评估AI模型能力，以呈现、缓解或防范CBRN威胁。 AI的当前趋势 负责任地使用人工智能对于推进科学，分析超出人类认知能力的大型复杂数据集，解决紧迫和 未来的挑战以及改善日常生活有着巨大的希望，而潜在的滥用会带来相应的风险，需要全社会的缓解努力。 人工智能已经影响了在物理和生命科学中进行研究的方式，并将继续以预期和难以预料的方式进 行研究。这些支持人工智能的研究增强功能可能会产生积极和负面影响，具体取决于用户的意图和数据质量。 生物技术、生物制造和人工智能领域的革命性变化加剧了现有的监管挑战；因此，人工智能技 术治理必须具有适应性和迭代性，以应对快速或不可预测的技术进步。 各种公开可用的AI模型可以帮助增强物理和生命科学研究人员构思新型生物和化学制剂和设计实验的能力，增加他们对人体生理以及与蛋白质和蛋白质相互作用的理解 毒素，并可能对实验过程中遇到的实验程序进行故障排除。 Findings 调查结果1:鉴于人工智能技术的新兴性质，它们与化学和生物研究与开发以及相关风险的相互 作用，美国政府的一个重要优先事项应该是在国家安全、公共卫生和动物卫生机构之间就与使用人工智能相关的潜在风险范围达成共识。 调查结果2:大多数模型和合并的数据集都掌握在私人或学术组织手中；开源模型开发的巨大势 头使模型和生物设计工具的访问民主化，包括恶意行为者。 调查结果3:随着人工智能技术的进步，复杂领域的所有参与者进入的门槛较低，可能会因为恶意参与者增强概念化和进行CBRN攻击的能力而给国土带来新的风险。 调查结果4:虽然当前的每个前沿AI模型开发人员都根据他们参与领先的人工智能公司管理AI风险的自愿承诺，实施了内部评估和红色团队系统。他们的异质性方法，所涉及的基础科学信息的双重用途性质以及对相关CBRN专业知识的获取不一致，因此必须鼓励行业，政府和学术界之间的持续互动，并随后确保前沿模型开发商与国家安全和更广泛的生物防御社区之间的持续交流。 调查结果5:美国现有的生物和化学安全法规和执法中的已知限制，再加上人工智能工具的更多 使用，可能会增加有意和无意的危险研究结果的可能性，从而对公共健康、经济安全或国家安全构成风险。 调查结果6:需要与包括政府、国际组织、行业和非政府组织在内的国际利益相关者合作，以制 定方法、原则和框架来管理人工智能风险，释放人工智能的潜力，并根据人工智能技术的全球发展和传播，促进共同应对挑战的共同方法。 调查结果7:将AI集成到CBRN预防，检测，响应和缓解功能中可能会产生重要或紧急的好处 。 调查结果8:人工智能提供了利用高级分析来支持国家生物防御战略中的所有努力的机会。 调查结果9:人工智能工具可以加强与CBRN有关的关键努力的国际合作和沟通，对可疑的生物 制剂或化学攻击的归属，以及对非国家和民族国家遵守国际协定以及遵守军备控制、不扩散和裁军条约的监测。 2.Introduction 随着人工智能（AI）融入人类活动的更多领域，其潜在利益和风险受到越来越多的公众和政府审查，这凸显了对AI的开发和使用进行更强有力的治理的必要性，以及对其可能构成的潜在威胁的更清晰的认识。生物，放射和/或核（CBRN）威胁。2023年10月30日，拜登总统发布行政命令（E.O.)旨在减轻潜在的人工智能风险和威胁(E.O.14110，关于人工智能的安全、安全和可信开发和使用的行政命令)。TheE.O.为安全和负责任的AI开发和使用建立治理框架。特别是E.O.有必要“评估AI被滥用以开发或生产CBRN威胁的可能性，同时考虑AI应对这些威胁的好处和应用。“E.的第4.4（a）（i）节。O.14110任务美国国土安全部部长对可能给美国带来CBRN风险的AI模型类型进行评估，包括对这些模型的培训、部署、发布或使用进行监管的建议，包括安全评估和减少潜在CBRN威胁的防护要求。反大规模毁灭性武器办公室(CWMD)是国土安全部的牵头办公室，负责编写这项研究和相应的报告，重点是人工智能启用的化学和生物制剂和毒素。保持该文件未分类，并与第4.4（a ）（i）节对生物武器的特别强调以及能源部，国家核安全管理局根据1954年《原子能法》提供与核有关的信息的独特权限保持一致，本报告侧重于生物和化学威胁，仅涉及核和放射性威胁，因为它们在化学和生物制剂及毒素的概念、生产和传播方面具有共同特征。在回应E.O.CWMD评估了人工智能产生或恶化化学和生物威胁所带来的风险，以及如何减轻或防止其潜在的滥用。本报告介绍了E.要求的评估结果。O.它研究了AI的扩展及其与物理和生命科学现有和未来发展的关系。该评估还确定了AI的趋势以及可能对美国造成或加剧生物和化学威胁的AI模型类型。它通过监督AI模型和基础数据的培训，部署，发布和使用，包括安全评估和护栏的作用，提供建议以减轻对国家安全的潜在威胁。 而E.O.本报告侧重于生成AI和基础模型，还讨论了与通常称为生物设计工具（BDT）的一类AI工具相关的威胁和威胁缓解的影响。BDT是允许设计和进一步理解生物过程的工具和方法，例如表征蛋白质或设计新的生物体或生物结构。通用基础模型和这些专用工具之间的风险，收益和缓解方法各不相同。下面进一步描述这种描绘。 根据E.第4.4（a）（i）节的任务O.在过去的几个月里，CWMD和其他国土安全部机构和办公室已经咨询了来自能源部、私人人工智能实验室、学术界、智库和第三方模型评估人员的人工智能和CBRN问题专家，以评估人工智能模型能力，以呈现、缓解或防范CBRN威胁。DHSCWMD的研究活动和利益相关者参与，以及对AI模型和CBRN风险和收益的评估以及本报告中包含的建议，满足了E.O.Sectio4.4.(a)(i)。 3.背景：AI趋势 3.1AI的总体趋势 然而，自2010年代初以来，人工智能能力已经取得了长足的进步，并且正在迅速发展，这得益于可用计算能力的大幅增加以及能够利用这种计算能力的个人数量的相应增长。现在，处理能力更容易获得，个人和组织都可以在多个尺度上使用AI。人工智能领域的进步通过越来越多的公开可用数据、计算能力的提高和新颖的算法而激增。 负责任地使用人工智能对于推进科学，分析超出人类认知能力的大型复杂数据集，解决紧迫和未来的挑战以及改善日常生活有着巨大的希望，而潜在的滥用会带来相应的风险，需要全社会的缓解努力。人工智能是一个强大的工具，有可能在多个领域帮助个人，包括他们的个人生活、就业和医 疗保健。例如，人工智能已经被用于提高医学诊断的速度和准确性，帮助预测候选药物的毒性，并通过精准农业提高作物产量。人工智能治理的一个关键挑战是在控制风险和促进创新之间找到正确的平衡。 1Muthukrishnan，Nikesh，FarhadMaleki，KatieOvens，CarolineReinhold，BehzadForghani和RezaForghani。 “人工智能简史”。北美神经影像学诊所30（2020年11月1日）：393-99。https://doi.org/10.1016/j.nic.2020.07.004 。 2Al-Antari，MugahedA.“医疗诊断人工智能现有和未来的AI技术。 诊断（巴塞尔）13，第4号（2023年）：688。https://doi.org/10.3390/diagnostics13040688。 3Tran，ThiTuyetVan，AgungSuryaWibowo，HilalTayara和KilToChong。“药物毒性预测中的人工智能：最新进展，挑战和未来前景。”化学信息与建模杂志63，第9期（2023年5 月8日）：2628-43。https://doi.org/10.1021/acs.jcim.3c00200。 4Patrício，DiegoInácio和RafaelRieder。“粮食作物精准农业中的计算机视觉和人工智能：系统回顾。”农业中的计算机和电子产品153（2018）：69-81。https://doi.org/10.1016/j.compag.2018.08.001。 人工智能能力的快速发展，再加上对这些技术发展的新生科学理解，往往会导致人工智能特定能力和局限性的不确定性。 AI的最新进展之一是生成AI，它旨在使用大型语言模型（LLM）或AI图像生成器创建内容并执行大量任务。在大型数据集上训练的模型具有执行各种任务的能力，并且可以针对特定任务进行进一步“微调”，称为基础模型。LLM是一种旨在响应和模拟人类语言的基础模型，具有直接应用，如聊天机器人服务、写作和内容生成以及代码辅助。除了基础模型之外，设计工具还可以在特定应用或学科中采用各种AI方法，例如基于规则的系统，机器学习和深度学习。此外，AI开发人员正在使用LLM作为其他