核心观点
本研报探讨了在基于人工智能（AI）的未来军事系统中实现有意义的人类控制（MHC）的意义、特征和潜在解决方案。MHC 强调了人类控制在军事决策和行动中的法律、道德和社会方面的重要性，并被视为确保军事系统有效性和可接受性的关键。
关键数据
- 研究小组由来自九个国家的 18 名科学家组成，代表了多个学科，旨在研究和建议 MHC 问题。
- MHC 包含两个相互关联的要素：有意义的人类控制和有效的人类控制。有意义的人类控制强调法律和道德方面，而有效的人类控制侧重于性能问题。
- MHC 的三个维度：
- 何时：实时控制或预先控制。
- 由谁：单人控制或分布式控制。
- 什么：直接控制或间接控制。
- AI 的三种主要形式：
- 第一代 AI：规划、搜索和控制算法。
- 第二代 AI：深度学习。
- 第三代 AI：生成式 AI。
- NATO 负责任的 AI 原则与 MHC 密切相关，包括合法性、责任和问责制、可解释性和可追溯性、可靠性、治理和偏差缓解。
研究结论
- MHC 应被视为一个复杂的、迭代的社会技术系统过程，贯穿整个系统生命周期，并受到政治、法律、监管、道德、组织、文化、技术和系统环境的影响。
- 确保实现 MHC 需要在整个系统生命周期中采用多种方法，包括：
- 国家和国际法规。
- 系统需求规范。
- 系统集成。
- 系统功能和用户界面设计。
- 测试、评估、验证和确认。
- 人工智能模型的训练数据选择。
- 操作程序和流程。
- 人员培训。
- 组织文化。
- 系统环境中的监控和反馈。
- 研究小组确定了 17 种实现和维持 MHC 的候选方法，包括：
- 组织设计和开发。
- 经过验证的 MHC 需求；系统采购的“应该”和“必须”声明。
- 人类对 MHC 的准备程度。
- 先进控制指令。
- 利益相关者参与方法/人机系统探索。
- 道德编程：目标函数。
- 伦理风险分析。
- 责任性忽视容忍度（RNT）。
- 巫师 Oz 设计方法。
- 人机协同训练。
- 积极旁观者培训。
- 行动方案培训。
- 人工智能和伦理作战的机组资源管理。
- 实时 MHC 监控。
- 可解释人工智能（XAI）。
- 动态任务分配。
- MHC 报告系统。
- 研究小组提出了“整体蝴蝶模型”来理解 MHC，该模型结合了个人人机系统、系统环境、组织、社会乃至地球及其周围空间的各个层面。
- 建议未来的研究方向包括：
- 认知作战中的人机团队。
- 多利益相关者参与和参与式设计。
- 联合全域作战和系统环境控制。
