2024 利用成式 AI 增强自主系统的安全性和耐久性白皮书(英文版)

目录 499边栏 ： GenAI 型号GenAI 用例个别应用程序自我意识异常检测自主性适应性预测性维护故障管理 101112121314 舰队16群智能17群协调19沟通弹性21共识22 2324252627282931Human任务规划和执行人机合作元学习数据标记和合成网络安全恶意软件检测入侵检测: 集成威胁情报33 政策管理33 威胁模拟 ：34 软件供应链可见性34 3435363636363637373838词汇表 41挑战Cost计算适应道德 / 监管对齐隐私准确性Size新的安全问题Conclusion 快速发展的自主系统和边缘机器人技术为制造业、交通运输、医疗保健和探索等领域带来了前所未有的机遇。不断增加的复杂性和连接性也带来了确保安全、韧性和可靠性的新挑战。随着边缘机器人深入融入我们的日常生活和关键基础设施，我们必须开发创新的方法来提高这些系统的可信度和可靠性，达到新的水平。 这份白皮书探讨了生成式人工智能（GenAI）在增强自主系统和边缘机器人安全、韧性和安全性方面的变革潜力。我们可以利用这些前沿技术来应对边缘机器人独有的分布式和动态挑战，以解锁新的智能、适应性和稳健性水平。 生成型AI模型通过分析数据集中的模式来生成新内容。它们推导出特征性的概率分布，并将这些分布应用于创建与原始“真实”数据集一致的新数据模式。 早期的判别型AI模型通过应用条件概率来预测未见过的数据的结果。该方法具有广泛的适用性，适用于包括分类和回归在内的多种问题。它们擅长界定区分不同类或类别之间的决策边界。 生成技术的队伍日益壮大，包括基于变换器的大语言模型（LLMs）、生成对抗网络（GANs）、变分自编码器（VAEs）、生成流模型（GFM）和生成扩散模型（GDM）等。这些技术为人工智能研究开辟了新的激动人心的领域，应用范围涉及无人机群、入侵检测、物理通信安全、语义通信和移动网络等领域。1 技术创新研究所的安全系统研究中心(TII - SSRC ， 阿联酋阿布扎比 ，https: / / www. tii. ae / secure - systems)正致力于将生成性人工智能（GenAI）应用于其工作，将零信任架构（最初为信息安全开发）扩展到 cyber-物理系统的所有方面。因此，SSRC考虑如何利用GenAI确保无人机的安全、韧性和可靠性。 swarm群体, swarm群体的群组, 自主地面和海洋车辆, 指挥系统, 以及人类/无人机交互——特别是在通用人工智能（GenAI）在性能上超越传统AI/机器学习（AI/ML）方法的领域。 示例包括 ： •个别应用 ：健康监测、状态估计、预测维护、异常检测、自我修复、导航和紧急着陆。•车队应用:群协调、群智能、集体决策。•人类 / 无人机互动 ：通信弹性、任务规划、人机交互。•网络安全和弹性 ：入侵检测 ， 恶意软件分类 ， 威胁模拟。 这篇论文将专注于无人机，因为SSRC在此领域开展了大量工作。我们从无人机中获得的经验教训可以广泛应用于自主系统和 cyber-物理系统，包括汽车、机器人、嵌入式系统以及智能城市。同样地，在这些领域获得的经验教训也可以整合到SSRC的研究中。 这种方法使组织能够脱离依赖员工携带多部手机的物理设备管理方式。 边栏 ： GenAI 型号 一种针对无人机安全、安全性和弹性的特定生成AI建模技术的调查，包括它们的应用优势与局限性。 公众对生成式AI模型的兴趣激增，主要受到了诸如ChatGPT等高度公开的新服务的驱动，这些服务利用特别训练的大语言模型（LLMs）生成听起来具有权威性的文本回应。 大型语言模型是基于庞大文本数据集训练的AI系统。它们利用深度学习技术，尤其是被称为变换器的结构，来“理解”并生成类似人类的文本，基于它们学到的模式。这些模型分析训练数据中的关系和上下文，并使用多种技术构建数据的简化表示，以在原始数据元素之间建立关联和相关性。这些模型使它们能够生成模仿人类写作风格并涵盖广泛主题的回应。视觉AI，如DALL-E和Stable Diffusion，从文本和图像提示中合成新的图像。 大型语言模型（LLMs）在创建内容、代码、翻译、摘要、合成数据以及结构化来自文本、文档、图像、音频和其他提示数据的非结构化数据方面被广泛使用且用途广泛。 变压器模型及其构建的服务——如OpenAI的ChatGPT、Google的Gemini以及Anthropic的Claude——因其能够生成看似有条理的人类提示响应而引起了广泛关注。这些模型，以及其他领域的大型语言模型（LLMs）和小型语言模型（SMLs），也显示出支持分析、研究和开发以提高无人机的安全性、安全性和韧性方面的潜力。 然而，与这些非常明显的AI发展并行的，是在过去近十年里新类别的生成AI模型取得了显著进展，这些模型能够自动化和加速构建表示。虽然生成应用吸引了最多的关注，但这些新模型也在推动数据分析和与我们周围世界互动方面的进步。其他生成AI模型，如生成对抗网络（GANs）、变分自编码器（VAEs）、生成扩散模型（GDMs）和规范流模型（NFMs），尽管相对鲜为人知，但它们在无人机安全、安全性和韧性方面可以做出重大贡献。 变压器型号:引入于2017年用于英法文本互译，Transformer模型在捕捉非结构化数据内的长距离依赖性和相关性方面表现出色。2变压器利用一种新颖的“注意力机制”来学习单词之间的联系，从而帮助自动创建词嵌入。以往的技术需要使用单独的模型将原始文本转换为向量表示。变压器可以通过其分层结构和方式构建复杂的表示并学习复杂的联系，使研究人员能够处理大量未标记的文本并开发具有数十亿参数的大规模语言模型。后续创新支持了文档摘要、在大数据集上生成问题/答案关联、代码生成、深入分析、入侵检测、恶意软件检测以及跨机器人臂传输控制指令系统说明。这种方法的关键优势在于从复杂数据集中提炼上下文。挑战包括幻觉、更长的训练时间、更慢的推理构建速度、更高的计算需求以及更大的模型规模，相较于其他技术而言。 生成对抗网络 (GAN):这些是在 2014 年开发的 ， 用于创建逼真的合成数字 ， 面孔和动物图像。3GANs使两个神经网络相互竞争：一个受到生成更真实内容的奖励，而另一个受到检测虚假内容的奖励。他的竞争对手通过增强生成器创建逼真输出的能力，使其能够欺骗鉴别器，从而提高了竞争力。生成对抗网络（GANs）广泛应用于内容生成。自最初的版本设计用于处理图像以来，研究人员现在正寻找创造性的方法将代码或网络日志等数据转化为适合GAN处理的图像。GANs适用于生成可用于改进自主系统和网络安全算法的逼真合成数据集。然而，它们也面临着模式崩溃或灾难性遗忘等问题。 变分自动编码器 (VAE):VAE 于 2014 年引入 ， 以改善从连续变化的数据流中得出的推论。4该技术有助于找到高效的数据表示方法，并可用于数据压缩或异常检测及威胁识别。VAEs的训练过程涉及教导一组编码器和解码器将原始数据转换为具有不同概率分布的中间潜在空间。VAEs可以在异常检测、设计更好的编码方案、数据增强和图像生成等应用中独立使用。此外，它们常用于为其他算法（包括GANs）预结构化数据，以提高这些算法的效果。 生成扩散模型 (GDF):非平衡热力学建模为基础的学习、抽样、推断和评估改善得以通过GDFs在2015年得到实现。5该技术向样本（如图像）添加噪声，然后自动化去噪过程以揭示数据的基本结构。细微的变化可以生成有效的新型训练数据集。生成对抗网络（GDFs）广泛应用于图像生成，并能提高各种无人机应用场景中信号分类的准确性。然而，该技术需要更高的采样时间，并要求更复杂的架构，相较于GANs和VAEs更为复杂。 标准化流量模型 (NFM):这些是由研究人员引入的 ， 目的是使复杂的数据更易于使用。6这些模型将易于理解的分布（如正态分布曲线）逐步转换。每一步都是可逆的，这意味着如果需要，我们总可以回到起点。这个过程称为“流”，从简单的初始状态逐步过渡到最终状态。 类似于复杂的目标数据集。通过这种方式，可以更有效地研究和利用数据。生成对抗网络（GANs）和变分自编码器（VAEs）等技术已被用于生成手写数字、图像等。 newer 用法案例包括增强分类和编码方案。训练过程会创建一个模型，将数据集的概率分布转化为更复杂且完全可逆的分布。然而，生成对抗网络（GANs）和变分自编码器（VAEs）等技术相比，生成对抗网络（NFMs）可能需要更高的计算和训练时间。 以下图表总结了主要的通用人工智能（GenAI）技术及其在自主系统零信任领域的应用。 GenAI 用例 无人机技术的普及带来了跨越多个领域（个体、机群、人类控制和网络安全）的挑战。其快速增长和复杂性要求不断进行创新以增强其可信度和可靠性。 以下应用——无论是源自无人机（UAV）和无人飞行器研究，还是从其他领域引入——对无人机及其他自主系统的未来具有重要意义。值得注意的是，许多项目尚处于早期阶段，提及这些项目是为了展示随着技术的发展，通用人工智能工具可能实现的功能概貌。 GenAI展现出在提高个体自主系统（如无人机、自动驾驶汽车、机器人和嵌入式系统）的安全性、韧性和安全性方面增强零信任框架的巨大潜力。正在调查的应用场景包括提升自我意识、异常检测、自动驾驶、预测性维护、故障管理、自愈以及安全着陆。 自我意识 机会:高效地转换嘈杂、模糊且不一致的数据以理解无人机当前状态——例如，在尝试检测障碍物的同时补偿运动模糊。 无人机健康的基础在于准确捕捉并理解其当前状态——包括当前硬件的状态、应用情况、物理位置以及安全状况。在现实世界中，这可能会变得复杂，因为视频馈送可能会出现运动模糊，GPS数据会抖动，惯性导航数据会失去校准，噪声或缺失数据会降低内部监控数据的质量。 状态估计对于自主导航和决策制定至关重要，原始数据流必须与位置、速度和姿态准确关联。7生成 AI 可以帮助填补缺失数据并融合来自多个来源的数据 ， 以改善状态估计。8 创新的生成对抗网络（GANs）、变分自编码器（VAEs）以及传统的机器学习算法如LSTM可以在这些方面发挥作用，通过故障检测、预测性维护、故障管理以及安全着陆协议来保障车辆安全。例如，创新的GAN方法可以填补缺失的数据，并使数据流融合变得更加容易，从而创建更准确的状态评估。9帮助将内部日志数据与声学分析相关联 ，10并识别潜在的机械问题。11研究人员还开发了使用条件生成对抗网络（CGANs）为单个无人机和无人机群生成估计状态变量的技术。12 异常检测 机会 ： 改进对无人机传感器数据的分析 ， 以识别异常情况。更准确、多维度的系统状态记录也有助于识别与无人机健康相关的问题。例如，变分自编码器（ VAEs）可以提高故障检测和隔离的准确性。它们还可以识别各种系统中压力的预警信号，从而优先安排预测性维护计划。通常，机器学习分类算法是基于多个类别进行训练的（如标记为“故障”和“正常”的数据）。然而，在公共数据集和实际应用中，稀有类别的数据（如“故障”数据）往往稀缺。在这种情况下，生成对抗网络（GANs）可以在合成这些稀有类别方面发挥重要作用——生成看起来像是“故障”条件的数据。此外，研究人员正在探索大型语言模型（LLMs）如何更好地帮助在新环境中进行操作和上下文理解。13 例如，DriveLLM将大型语言模型（LLM）与传统自主导航算法相结合，以支持在应对边缘情况时更好的推理和决策。14研究人员发现该方法可以在意外情况下提高主动决策制定能力。另一个应用TypeFly通过自然语言接口增强了人类与无人机之间的沟通。15. 如此大的语言模型可能会表现出表面偏见、不准确性和幻觉等问题，这些都需要额外的安全措施来加以防范。同样，微软研究部门讨论了他们将ChatGPT与机器人技术整合的研究进展，通过自然语言使机器人控制更加直观。他们已经使ChatGPT能够理解并在物理环境中执行任务，从而简化了人机交互过程，无需复杂的编程知识。Cha