用于快速反无人机系统测试与部署的可信计算机视觉

计算机视觉（CV）技术在北约军事中的应用日益广泛，尤其在无人机探测、分类、跟踪和终端引导等关键防御任务中发挥着重要作用。然而，随着无人机技术的快速发展和现代战争复杂性的增加，CV系统在自动化和决策支持方面面临着新的挑战。本文提出了一种针对电光和红外图像的无人机防御CV系统保证框架，旨在解决现有评估方法的局限性，并确保CV模型在防御和安全领域的可靠性和可扩展性。

核心观点：

1. CV技术在无人机防御中的重要性：CV技术能够帮助操作员超越人类视觉局限，自动化分类、跟踪和打击任务，并增强其他防御传感器的冗余性。
2. 现有评估方法的局限性：公共基准数据集存在标注标准不统一、无法反映真实作战环境、更新滞后等问题；而组织或项目为中心的评估方法则存在资源密集、缺乏透明度和独立审查等缺点。
3. AI解决方案质量指数（ASQI）：本文提出了ASQI框架，定义了CV系统在无人机探测、分类和跟踪任务中的质量维度，并将其转化为可量化的指标，以评估系统性能。

关键数据和研究结论：

1. 数据集分析：本文构建了一个包含真实世界和模拟数据的基准数据集，用于评估CV系统在不同场景下的性能。分析表明，现有数据集存在对小型无人机过度代表、低光场景不足等问题，需要进行数据增强。
2. 模型性能评估：通过对YOLOE模型的评估，发现其在红外图像上的性能显著低于电光图像，且在低光和复杂场景下表现不佳。这表明，CV系统需要针对不同场景进行优化，并考虑性能权衡。
3. 模拟环境的重要性：本文强调了模拟环境在数据收集和动态测试中的重要性，可以弥补真实世界数据的不足，并支持对新场景和参数组合的测试。

未来工作：

1. 扩展框架至热成像和雷达系统，以及音频AI赋能的传感器系统。
2. 开发北约范围内的基准，用于评估特定常见用例下的CV系统性能。
3. 深化与北约伙伴的合作，探索更多用例，并为共同价值观和利益的防御做出贡献。

该框架旨在简化和扩展自动化测试，识别性能薄弱环节，并为决策者提供明确的部署标准，从而建立对CV技术的信任，并促进跨机构的信息共享和互操作性。