《生物武器公约》科学和技术咨询机制 ， 概念验证演习

1 背景 1.1 来自联合国五个区域集团的所有科学专家模拟了《生物武器公约》（BWC）的科学技术咨询机制会议。该会议于2024年2月27日至28日在意大利特里耶斯举行。此概念验证练习探讨了相关主题。探索《生物武器公约》背景下人工智能在生物安全和国际合作中的益处与风险 作为一种预见这种机制可能如何运作的方式。会议的实施者是国际学术合作伙伴（IAP），这是一个由全球100多个国家的150个科学、工程和医学学院组成的网络，与美国国家科学院、工程院和医学院（NASEM）合作进行协调。来自32个国家的38名参与者以及20名在线观察员被邀请参加此次会议。会议涵盖了地理、专业知识领域、年龄和性别等方面的多样性。 1.2 这次面对面会议是模拟 “混合 ” 的两项活动中的第二项1《生物武器公约》缔约国目前正在审议的科学和技术咨询机制。2混合模型将包括一个对所有缔约方专家开放的机构，用于收集和讨论可能的主题信息，随后该主题将由一个规模有限的专家小组进一步审议。首个IAP活动于2023年11月14日以开放工作组的形式在线举行。3该十一月活动旨在通过一个小规模的技术专家小组集中考虑将在特里埃斯特举行的第二次会议中讨论的问题。十一月的虚拟会议和二月份的面对面会议均为受邀参加，并且均遵循查塔姆 house 规则举行。 报告中提及的2月Trieste会议由Dr. Peter McGrath（IAP）主持，副主持人包括Dr. Peter Ahabwe（乌干达紧急健康操作中心）、Neela Badrie教授（特立尼达及多巴哥卡里布亚科学院）、Dr.Kavita Berger（NASEM）和Dr. Cedric Invernizzi（瑞士Spiez实验室）。会议得到了Dr. Kayhan Azadmanesh（伊朗巴斯德研究所）和Dr. Maria J. Espona（阿根廷信息质量）以及Dr. Jonathan Forman（美国太平洋西北国家实验室）的支持，其中Dr. Jonathan Forman作为“科学顾问”参与了概念验证模拟。与会者及其议程安排在本报告的附件1和2中提供。在简短介绍后，参与者就生物安全和国际合作在《禁止生物武器公约》背景下，AI及其潜在影响进行了广泛的讨论和两个分组讨论。与会者非正式地认可了此次模拟练习的报告，该报告未试图提出建议。 2 Overview 2.1 会议首先进行了三项简报，分别关于人工智能和生物安全问题，随后进行了引导性的讨论和分组讨论。简报包括汉堡大学（德国）的Gunnar Jeremias博士关于在《禁止生物武器公约》背景下的人工智能的演讲，之后是由南非普特华大学的Vukosi Marivate教授和英国伯明翰大学的Nicole Wheeler教授就人工智能对生物安全及国际合作预期影响的更技术性报告。 2.2 杰里亚斯博士讨论了人工智能技术在生命科学及其他科学学科中的广泛应用。他概述了《生物武器公约》（BWC）中的规范，并指出了人工智能带来的挑战和利益（包括生物安全、核查、法医归因等方面）所提出的问题。他还指出，一个科学咨询机构可以增强《生物武器公约》中的信任建立措施。他的演讲涵盖了人工智能领域的发展趋势、对我们对人工智能工具及其能力理解的不足之处，以及人工智能治理方面的视角。在这方面，他提到最近的欧盟指令4美国行政命令5是不具体的 ， 而且世界上很少有规定。 2.3 Marivate教授指出，人工智能以各种形式存在了数十年，并且我们日常生活中与之互动，例如在互联网搜索引擎和移动设备中的算法。如今，AI的发展周期加快，开发新AI能力的投资增加，并且AI在许多行业和领域得到了广泛采用。Marivate教授的演讲强调了在南非使用AI工具监测害虫的方法，包括通过计算机视觉分析数字图像，以及通过整合和可视化来自公共卫生资源的数据进行疾病管理。 2.4 花拉教授介绍了2023年一份关于AI-生物能力治理及人工智能发展对生物安全影响的报告结果。6她强调了人工智能预测 Highly Toxic 化学物质结构的例子，并讨论了当前人工智能系统的功能和局限性。人工智能工具可以高效地汇集技术信息，并用通俗语言总结给非专家，帮助实验设计和编程。她指出，当人工智能工具不是由领域专家开发时，它们可能无法为该领域的研究人员提供益处。韦勒教授进一步探讨了大型语言模型（LLMs）、生物设计工具以及实验室过程自动化的能力和局限性。 在进行了三次展示后，副主席Berger博士主持了一场引导讨论，讨论了演讲者提出的要点。这次讨论的关键议题包括：（a）人工智能是一个统称，涵盖了多个主要领域：机器学习、推理、自然语言处理等。 语言、计算机视觉和机器人技术。尽管没有官方定义，对于一些人来说，人工智能涵盖了算法、数据系统和计算机硬件协同工作以实现智能行为。7这些信息技术可能对生命科学和生物安全产生变革性的影响。在《禁止生物武器公约》（BWC）的背景下，人工智能工具如生物设计软件以及能够分析大量生物数据的大型语言模型（LLMs）尤为关键。 产生了既兴奋又担忧的情绪，强调了需要组建由科学和技术领域专家组成的多学科团队。AI工具产生的是一些数字输出，而不是物理输出。例如，生成生物制品这样的物理输出。(b) 材料或物质（包括生物武器）需要实验室、生产设备以及技术熟练的人员。(c) 利用AI产生有意义的输出需要“好问题”和可靠的高质量数据。 数据以最小化不准确性和关键性的偏见为目标。这需要有方法来验证、保护和确保用于AI工具的数据完整性。基于这些原因，网络安全、区块链以及其他保护和确保数据完整性的技术也应在关于负责任使用生物数据AI的相关讨论中得到考虑。 理解AI工具的局限性对于确保生成有意义的输出至关重要。通用局限性包括高质量数据集的缺乏、AI中的不确定性量化以及当前模型无法利用推理来提出研究问题和假设。AI模型可能会引入偏差、错误和“幻觉”。8没有迹象表明哪些输出是准确的。AI模型在不同数据集之间的迁移学习（一种机器学习技术，其中为一项任务开发的模型被重新用于另一项任务）可能是另一个可能的限制。（e）生物设计工具的局限性包括狭窄的搜索空间和蛋白质设计工具。 无法扩展到更高复杂性的系统 ， 例如病毒和微生物。(f)人工智能工具也可以集成到更大的系统中 ， 包括 ： 数据收集能力：些可能涉及从境中收集信息的感器。由AI控制的硬件组件：这些可能包括无人驾驶车辆或由AI指挥执行特定功能的机器人实验室系统，基于对数据输入的分析。AI工具9与生物数据相结合 ， 可以促进生命科学领域的知识和研究。 (g) AI工具能够加速信息处理过程，并可能有助于决策制定流程。它们还提供了搜索大量生物和临床数据集、整合与综合信息以及从输入数据源中识别模式的能力，以增强对生物相关信息如药物靶点、蛋白质、肽和其他生物大分子结构以及生理效应的预测。这些能力导致了越来越先进的生物设计工具的开发。 (h) 对于生物安全而言，一些专家认为AI具有变革潜力，可能带来严重的影响。 负面后果。这一观点源于对生物武器更容易、更快捷、更廉价制造的担忧。特别是由人工智能驱动的肽和蛋白质设计工具引发了关于它们可能被用于设计生物毒素或传染性蛋白质（例如朊病毒）的安全关切。因此，会议参与者一致认为，人工智能辅助的蛋白质设计与合成是一种与《禁止生物武器公约》（BWC）直接相关的能力。与会者指出，评估这些及其他类似发展对《禁止生物武器公约》的潜在影响，可以通过临时工作组进一步讨论来受益。10合适的主题专家。 11(i)(j)(k)(l)同样 ， 可用于研究微生物系统的 AI 工具可能会指导修改和已知病原体的工程化和 / 或新病原体的产生。AI 工具也可以被利用来传播可能对决策产生不利影响的错误信息和虚假信息 -应对生物威胁或遵守由BWC.使用 AI 工具实现科学过程的自动化可能会受到规模挑战的限制 ， 并且需要维护和维持机器人系统的专业知识。而机器人系统有时被视为 “解杀 ” 科学家的工作台工作 ， 保持机器人系统操作需要具有工程和编程技能的工人 ， 因此“重新杀死 ” 一些科学家。人工智能技术继续发展 ， 因此目前存在一些限制 ， 包括缺乏随着时间的推移 ， 科学假设生成中的创造力可能会变得不那么受限制。人工智能工具在研究和生物技术中存在重要机会 ， 而它们在《生物武器公约》的背景尚未得到充分探索。尽管潜在的邪恶用途已经被讨论了尝试开发 AI 启用(或设计) 生物武器的具体示例尚未报告。 可能为《禁止生物武器公约》（BWC）带来的潜在益处包括：增强遵守BWC义务的信心的工具；用于调查的取证和归属应用；筛查DNA序列采购订单以防止创建病原体；生物监测与检测；早期疾病预警；健康数据和结果的汇总；大流行准备；疫苗和药物开发；以及研究和/或信息共享与合作。不同领域利用这些益处时可能会采用不同的生物安全定义。12这些所有能力都伴随着解释性和验证性的挑战，尤其是当AI工具被用于指导决策时。考虑到AI系统存在大量的潜在应用机会，建立“沙盒环境”（sandboxes）尤为关键。 跨使用 AI 系统的组织将是有益的。主题和数据集 可以对人工智能工具的探索、预测和诊断能力进行评估 ， 以及技术被揭开神秘面纱 ， 以允许实际的方法来理解和使用它可能有助于评估与《生物武器公约》的相关性。 (o) 随着信息获取越来越自由以及电子资源的不受限制使用，AI系统及其所使用的数据可以存储在云端，从而消除对物理位置的需求。开放访问的数据和开源AI工具的跨国性质引发了国内外一系列政策和法律问题。 (p) 为了确保AI工具的安全和伦理使用，AI治理正受到越来越多的关注。 关注并需要政府、组织和其他机构之间的合作利益相关者。 (q)AI 治理讨论引起了人们的担忧 ， 即过度监管可能会损害而不是帮助生物安全。相反 ， 更谨慎和受控的访问方法来缓解风险可能被视为可能限制国际合作和限制对人工智能的访问有益用途的工具。 3 全体会议讨论 在三个简报之后的一般性讨论中 ， 讨论了以下要点 ：3.1 人工智能正在从各个方面影响社会，包括科学研究的方式。对于人工智能的风险和益处，存 在大量的炒作和不同的观点，并且对如何思考以及提供关于人工智能及其采用的实际指导存在多种看法。（a）与会者强调了建立持续过程的重要性， 对AI趋势的回顾，特别是与《生物武器公约》（BWC）相关的生物领域应用。这一过程应包括持续讨论AI带来的正面和负面影响，促进进一步的AI议题讨论和实际见解分享，从而为BWC社区在其论坛上提供有关新兴AI相关问题的信息。这可以作为BWC科学咨询机制的常设议程项目。（b）为《生物武器公约》缔约国开发一本指南，提供定义和实例 关于AI工具的广度、它们在生物数据中的应用、其能力和局限性以及在生命科学领域的实际应用，这可能会丰富《禁止生物武器公约》（BWC）内部对这些工具正面和负面影响的讨论。这份入门资料可以包括一般性的考虑，如数据、计算能力、技术知识和其他将AI设计从数字世界转化为物理世界的转型需求。科学技术咨询机制可以促进此类入门资料的发展。 对于BWC而言，LLMs和生物设计工具被认为具有高度的相关性。人工智能是一系列快速发展的技术，并被视为潜在的游戏规则改变者。要全面理解任何AI能力或预测的影响，还需要考虑将AI输出从数字世界转换到物理世界的过程。 3.3 作为一种使能技术，AI 可以用于促进有益和有害的发展。预测生物武器公约（BWC）总体广泛影响具有一定的难度，但探讨其影响是有帮助的。AI 在蛋白质设计与合成方面的应用是一个具有即时相关性的领域，并已在BWC论坛中受到关注。利用AI快速设计和生产蛋白质作为药物的能力也可能被滥用，用于设计和生产高度毒性蛋白质或传染性蛋白质（例如，朊病毒）。此外，AI 还可能用于重新设计已知病原体，使其能够在不同物种之间传播。会议参与者指出，为了评估这些发展对BWC的影响，可以设立一个临时专家工作组，该工作组由病毒学、微生物学、生物化学、AI模型以及生命