国土安全部关于降低人工智能与化学、生物、放射性和核威胁交叉点风险的报告（中文）

MachineTranslatedbyGoogle 国土安全部关于降低人工智能和网络安全交叉风险的报告 化学、生物、放射和核威胁 2024年4月26日 MachineTranslatedbyGoogle 此页有意留为空白。 MachineTranslatedbyGoogle 秘书致辞 2024年4月26日 我很高兴提交以下报告《国土安全部关于降低人工智能与化学、生物、放射和核威胁交叉风险的报告》，该报告由 国土安全部（DHS）反击 大规模杀伤性武器办公室（CWMD）。 本报告是根据2023年10月30日颁布的关于安全、可靠和值得信赖地开发和使用人工智能的第14110号行政命令(EO)编写的。该行政命令第 4.4节强调需要“更好地了解和减轻人工智能被滥用来协助开发或使用CBRN威胁的风险特别关注生物武器。” 该行政命令责成“国土安全部部长与能源部长和科技政策办公室主任协商”，以“评估人工智能被滥用以开发或生产CBRN威胁的可能性，同时考虑人工智能在应对这些威胁方面的优势和应用⋯⋯”该行政命令还要求“向总统提交一份报告，描述这些工作的进展，包括对可能对美国带来CBRN风险的人工智能模型类型的评估，并就规范或监督这些模型的培训、部署、发布或使用提出建议，包括安全评估要求和减轻国家安全潜在威胁的防护措施。” 该报告重点关注人工智能化学和生物制剂，其制定参考了“国土安全部、能源部、私人人工智能实验室、学术界和第三方模型评估人员的人工智能和CBRN问题专家的意见和建议”。该报告旨在提供长期目标，确保人工智能的安全、可靠和值得信赖的开发和使用，并指导潜在的跨机构后续政策和实施工作。 根据该行政令，本报告将提交给美国总统。 真挚地， 尊敬的亚历山大·N·高级秘书 美国国土安全部 MachineTranslatedbyGoogle 目录 1.执行摘要.1 2.简介.3 3.背景：人工智能的趋势.4 3.1人工智能的总体趋势.4 3.2人工智能治理与监督趋势.5 3.3物理和生命科学中的人工智能.6 4.滥用人工智能来开发或生产CBRN威胁.8 5.人工智能在应对CBRN威胁方面的优势和应用.166.首字母缩略词和 缩写.20 MachineTranslatedbyGoogle 1。执行摘要 2023年10月30日，拜登总统签署了关于安全、保障、 以及人工智能的可信开发和使用。该行政令的总体目标是“确保美国在把握人工智能前景和管理人工智能风险方面处于领先地位”，并为安全和负责任地开发和使用人工智能建立治理框架。 国土安全部(DHS)在执行行政命令中发挥了关键作用。行政命令第4.4(a)节强调需要“更好地了解和减轻人工智能被滥用于协助开发或使用CBRN威胁的风险特别关注生物武器”。在国土安全部内，反大规模杀伤性武器办公室(CWMD)是负责领导国土安全部工作并协调国内外合作伙伴以保护美国免受化学、生物、放射和/或核(CBRN)威胁的办公室。CWMD牵头制定了一份人工智能CBRN报告，该报告评估了“人工智能被滥用于开发或生产CBRN威胁的可能性，同时也考虑了人工智能在应对这些威胁方面的好处和应用”。 人工智能CBRN报告是在全美范围内密切合作下制定的 美国政府(USG)、学术界和工业界。CWMD征求了国土安全部各机构和办公室的意见，并咨询了来自能源部、私人人工智能实验室、学术界、智库和第三方模型评估机构的人工智能和CBRN问题专家，以评估人工智能模型应对、缓解或防范CBRN威胁的能力。 人工智能的当前趋势 ·负责任地使用人工智能对于推动科学发展、分析超出人类认知能力的大型复杂数据集、解决紧迫和未来的挑战以及改善日常生活具有巨大潜力，而潜在的滥用则会带来严重风险，需要全社会采取缓解措施。 ·人工智能已经影响了物理和生命科学领域的研究方式，并将以意料之中和难以预料的方式继续影响下去。这些由人工智能推动的研究改进可能会产生积极和消极的影响，具体取决于用户的意图和数据的质量。 ·生物技术、生物制造和人工智能领域的革命性变革步伐加剧了现有的监管挑战；因此，人工智能技术治理必须具有适应性和迭代性，以应对快速或不可预测的技术进步。 ·各种公开可用的人工智能模型可以帮助提高物理和生命科学研究人员构思新型生物和化学药剂以及设计实验的能力，提高他们对人体生理学以及与蛋白质和 1 MachineTranslatedbyGoogle 毒素，并可能解决实验过程中遇到的实验程序问题。 发现‧发 现1：鉴于人工智能技术的新兴性质、它们与化学和生物研究与开发的相互作用以及相关风险，美国政府的一个重要优先事项应该是在国家安全、公共卫生和动物健康机构之间就使用人工智能所涉及的一系列潜在风险达成共识。 ‧发现2：大多数模型和纳入的数据集掌握在私人或学术机构手中 组织；开源模型开发的显著势头使得模型和生物设计工具的访问变得民主化，包括恶意行为者也可以访问它们。 ‧发现3：随着人工智能技术的进步，全球所有参与者的进入门槛降低 复杂程度的提高可能会因恶意行为者增强构思和实施CBRN攻击的能力而给国土带来新的风险。 ‧发现4：虽然目前每个前沿人工智能模型开发者都根据他们参与领先人工智能公司管理人工智能风险的自愿承诺实施了内部评估和红队系统，但他们的方法各不相同，所涉及的基础科学信息的双重用途性质，以及 由于⽆法持续获取相关的CBRN专业知识，因此必须⿎励工业界、政府和学术界之间的持续互动，并随后确保前沿模型开发人员与国家安全和更广泛的生物防御社区之间的持续交流。 ‧发现5：美国现有生物和化学安全法规和执法的已知局限性，加上人工智能工具的使用增加，可能会增加 有意或⽆意的危险研究成果对公众健康、经济安全或国家安全构成威胁。 ‧发现6：与国际利益相关方（包括政府、国际 需要组织、行业和非政府组织制定方法、原则和框架来管理人工智能风险，释放人工智能的潜力，并根据全球人工智能技术的发展和传播，促进应对共同挑战的共同方法。 ‧发现7：将人工智能融入CBRN预防、检测、响应和缓解能力可能会产生重要或突发的效益。 ‧发现8：人工智能提供了利用高级分析来支持所有努力的机会在国家生物防御战略中。 ‧发现9：人工智能工具可以加强与CBRN相关的关键工作的国际合作与交流，以及对可疑生物制剂或化学袭击的归因和监测 非国家和民族国家遵守国际协议和遵守军备控制、不扩散和裁军条约的情况。 2 MachineTranslatedbyGoogle 2.简介 随着人工智能(AI)融入到人类活动的更多领域，其潜在利益和风险受到公众和政府越来越多的关注，这凸显出需要加强对人工智能开发和使用的治理，并更清楚地认识到它可能带来的潜在威胁，包括与化学、生物、放射和/或核(CBRN)威胁相关的威胁。2023年10月30日，拜登总统发布了一项行政命令(EO)，旨在减轻潜在的人工智能风险和威胁（EO14110，关于安全、可靠和值得信赖地开发和使用人工智能的行政命令）。该行政命令为安全和负责任地开发和使用人工智能建立了一个治理框架。特别是，该行政命令指出需要“评估人工智能被滥用以开发或生产CBRN威胁的可能性，同时还要考虑人工智能在应对这些威胁方面的好处和应用。” 14110号行政令第4.4(a)(i)条要求国土安全部长进行评估 可能对美国带来CBRN风险的人工智能模型类型，包括对这些模型的培训、部署、发布或使用的监管或监督建议，包括安全评估要求和减轻潜在CBRN威胁的防护措施。反大规模杀伤性武器办公室(CWMD)是负责生成此项研究和相应报告的国土安全部牵头办公室，该报告重点关注人工智能支持的化学和生物制剂及毒素。为了保持文件的非机密性并与第4.4(a)(i)节对生物武器的特别强调以及1954年《原子能法》赋予能源部国家核安全局对核相关信息的独特权力保持一致，本报告重点关注生物和化学威胁，仅针对核威胁和放射威胁，因为它们在构思、生产和传播方面与化学和生物制剂和毒素具有共同特征。 为响应该行政令，CWMD评估了人工智能可能产生或加剧化学和生物威胁的风险，以及如何减轻或防止其潜在的滥用。本报告介绍了行政令要求的评估结果。它研究了人工智能的扩展及其与物理和生命科学现有和未来发展的关系。这项评估还确定了人工智能的趋势以及可能对美国造成或加剧生物和化学威胁的人工智能模型类型。它提出了通过监督人工智能模型的培训、部署、发布和使用来减轻对国家安全的潜在威胁的建议，并 基础数据，包括安全评估和护栏的作用。 虽然《行政命令》重点关注生成式人工智能和基础模型，但本报告还讨论了 对威胁的影响和威胁缓解与一类通常称为生物设计工具(BDT)的AI工具有关。BDT是允许设计和进一步了解生物过程的工具和方法，例如表征蛋白质或设计新生物或生物结构。通用基础模型和这些专用工具的风险、好处和缓解方法各不相同。这种划分将在下文进一步描述。 3 MachineTranslatedbyGoogle 根据行政命令第4.4(a)(i)节规定的任务，CWMD和国土安全部其他机构和办公室在过去几个月中咨询了来自能源部、私人人工智能实验室、学术界、智库和第三方模型评估机构的人工智能和CBRN问题专家，以评估人工智能模型在应对、缓解或防范CBRN威胁方面的能力。国土安全部CWMD的研究活动和利益相关方参与，以及其对人工智能模型和CBRN风险和利益的评估以及本文所载的建议 报告，满足EO第4.4.(a)(i)条的要求。 3.背景：人工智能的趋势 3.1人工智能的总体趋势 人工智能最早诞生于20世纪40年代。1然而，自2010年代初以来，人工智能能力已取得长足进步并迅速发展，这得益于可用计算能力的大幅提升，以及能够通过应用程序编程接口(API)和自然语言处理利用这种增强的计算能力的人数相应增长。现在，处理能力更加易于获取，个人和组织都可以在多个规模上使用人工智能。随着公开数据量的增加、计算能力的提高和新算法的出现，人工智能领域的进步不断涌现。 负责任地使用人工智能对推动科学发展、分析大型复杂 人工智能可以处理超出人类认知能力的数据集，解决紧迫和未来的挑战，改善日常生活，但潜在的滥用将带来严重风险，需要全社会共同努力来缓解。人工智能是一种强大的工具，有潜力在个人生活、就业和医疗保健等多个领域为人们提供帮助。例如，人工智能已被用于提高医疗诊断的速度和准确性，帮助预测候选药物的毒性，并通过精准农业提高农作物产量。234与此同时，人工智能可能会使各行各业现有的危险复杂化和加剧。人工智能治理面临的一个关键挑战是在控制风险和促进创新之间找到适当的平衡。 1Muthukrishnan、Nikesh、FarhadMaleki、KatieOvens、CarolineReinhold、BehzadForghani和RezaForghani。 “人工智能简史”。《北美神经影像诊所》第30卷（2020年11月1日）：393–99。https://doi.org/10.1016/j.nic.2020.07.004。 2Al‑Antari，MugahedA.“用于医疗诊断的人工智能现有和未来的人工智能技术。” 诊断学（巴塞尔）13，第4期（2023年）：688。https://doi.org/10.3390/diagnostics13040688。 3Tran、ThiTuyetVan、AgungSuryaWibowo、HilalTayara和KilToChong。“人工智能在药物毒性预测中的应用：最新进展、挑战和未来展望。”《化学信息与建模杂志》第63卷第9期（2023年5月8日）：2628–43。https://doi.org/10.1021/acs.jcim.3c00200。 4Patrício、DiegoInácio和RafaelRieder。“谷物作物精准农业中的计算机视觉和人工智能：系统评价。”农业中的计算机和电子技术153(2018)：69–81。https://doi