网络运营中的人工智能：最终用户的道德和法律考虑（英）

网络运营中的AI：最终用户的道德和法律考虑 KirsiHelkala，JamesCook，GeorgeLucas，FrankPasquale，GregoryReichberg和 HenrikSyse Abstract本章讨论了当前和拟议的人工智能（AI）用于增强网络安全和冲突操作的新用途的几个主要道德挑战。目前使用的“模块化”人工智能——即为特定任务量身定制的人工智能，涉及密切监督的机器学习——已经以不同程度的效率和成功渗透到防御性和进攻性网络操作中。对这些代表性样本进行了说明和讨论，突出了每个样本所伴随的一些道德挑战。然后，本章总结了一般人工智能的拟议用途，包括“深度学习”，实现更大的自主性，以及随之而来的风险和网络领域内此类用途所带来的未来道德困境。我们的具体重点将是对个人和专业专家团队的性格和能力的影响，无论是有利的还是不利的，他们将构成AI增强的网络安全措施的最终用户。 KirsiHelkala 挪威国防大学学院/网络学院，利勒哈默尔，挪威；奥斯陆和平研究所，挪威 ，奥斯陆，电子邮件：khelkala@mil.no 詹姆斯·库克 美国空军学院，科罗拉多斯普林斯，美国，电子邮件：james.cook@usafa.edu 乔治·卢卡斯 美国海军学院，安纳波利斯，MD，美国，电子邮件：george.r.lucas.jr@gmail.com FrankPasquale 布鲁克林法学院，纽约布鲁克林，美国，电子邮件：frank.pasquale@gmail.com 格雷戈里·赖希伯格 挪威奥斯陆和平研究所，电子邮件：greg.reichberg@prio.org HenrikSyse 挪威奥斯陆和平研究所，电子邮件：syse@prio.org 1 1Introduction 2020年12月，欧盟网络安全机构发布了对人工智能构成的安全威胁的详细评估[2]。报告指出，人工智能和网络安全“具有多维关系和一系列相互依存关系。“作者确定了三个广泛的威胁类别：（1）在一系列其他操作中使用时为AI本身提供网络安全（e。Procedre，自主战斗武器和后勤系统，无人驾驶汽车以及物联网中连接的一系列设备） ；（2）使用人工智能来增强进攻和防御的网络安全操作；（3）对手恶意使用AI来创建和发起越来越复杂，恶意和破坏性的网络攻击。 本章主要关注追求第二种威胁类别所带来的道德和法律挑战。在这里，我们只考虑在网络空间中进行和捍卫的网络操作。这意味着我们从本章中排除了也通过网络措施实现的社会和认知领域操作。调用此划界意味着，例如，对“SolarWids”或“NotPetya”等恶意软件事件的讨论将属于我们研究的范围，因为它仅在网络领域内发生，而虚假信息运动，例如，使用社交媒体来破坏现实世界的政治活动，则不会。我们认识到后一类手术同样重要，但也许更适合在单独讨论中进行治疗。更具体地说，随着北约联盟成员与美国和欧盟国家一起寻求通过此类措施加强自己的个人和集体安全，本章的作者研究了他们可能面临的道德和法律问题，以及如何解决这些问题，使控制政府和社会满意。特别是，我们考虑哪种战术替代方案对那些将最密切参与设计和实施这些人工智能增强网络空间行动的国家和联盟的公民个人承担法律责任或精神伤害的风险最小。 我们区分了两种截然不同的道德挑战：那些源于故意或肆意鲁莽滥用这种技术的挑战 ，以及最终用户尝试的完全独立且更广泛的警告，出于善意，以防止粗心大意，疏忽或由于对AI的其他合理和可能有益的使用而引起的意外后果的出现。 2背景：AI和网络运营 2.1人工智能 人工智能有几种定义，没有一个是确定的。欧盟的高级学说[3]将AI系统定义为 由人类设计的软件（也可能是硬件）系统，在给定复杂目标的情况下，通过数据采集，解释收集到的结构化或非结构化数据，推理知识或处理信息来感知其环境，从而在物理或数字维度中发挥作用，从这些数据中得出并决定为实现给定目标而采取的最佳行动。 NATOhasnotissuedjointpracticaltouseofAIinyc-berspace.However,NATO’s“AlliedJointDoctrineforCyberspaceOperations”[4],extensivelyc录,inallrelevantressionsappearsfullycompatiblewiththeEUprinciple([3],p.1.),in 使用符号规则或学习数字模型，并且。。。还可以通过分析环境如何受到其先前行为的影响来调整其行为。 作为一门科学学科，人工智能包括几种方法和技术[5]，包括不同程度的机器学习（ML）（其中深度学习和强化学习是具体的例子）。机器推理（包括计划，调度，知识表示和推理，搜索和优化）和机器人技术（包括控制，感知，传感器和执行器，以及将所有其他技术集成到网络物理系统中）。 目前，人工智能应用程序就在我们身边；我们每天都在使用它们，无论我们是否意识到它们。简单的例子是在线搜索，产品推荐，以及实现“自动驾驶”汽车和类似机器的大量算法。在网络安全中，常见的例子是恶意软件检测和分类，网络入侵检测，文件类型，网络流量和SPAM识别，内部威胁检测和用户身份验证[6，7]。 这些AI支持的应用程序是模块化AI的示例[1]（“窄”或“弱”AI是在AI文献中经常出现的替代方案）。这种AI模式可以在严格定义的环境中的单个任务中非常好 -比如在国际象棋或围棋中获胜；但在更广泛的环境和不熟悉的环境中需要更一般的情报的地方，这是没有用的。一般人工智能（通常称为“强AI”）在各种认知任务中的操作更接近人类智能。一般人工智能的一个关键要素是能够自己提高知识和性能。例如，无监督ML系统不仅仅遵循预定的算法。相反，他们从收集的信息中生成自己的算法。虽然通用AI尚未以任何设想的形式实现（更不用说嵌入到网络安全系统中了），但有多种方法介于模块化和通用AI之间，反映了ML的不同范式[9，10]。 人工智能系统（包括用于提供防御性网络安全的系统）容易受到攻击、故障和事故的影响。进行AI对抗性攻击的可能威胁行为者列表与传统网络攻击相同;这些行为者从简单的（脚本小子）到复杂的（国家行为者和国家付费行为者），包括网络罪犯，恐怖分子，黑客分子以及恶意和非恶意内部人士[2]。 欧盟网络安全机构将威胁分为八大类[2]：恶意活动/滥用，即破坏AI系统功能的恶意行为；监视/拦截/劫持涉及其目的是窃听或以其他方式控制通信的行为；物理攻击破坏系统的组件或基础设施；故意损害是伤害系统或人员的意外行为；当系统本身无法正常使用时发生的故障/故障，或当系统本身无法正常使用的法律服务时发生的意外中断 ，则会发生。国内或国际，以限制对手的网络行动。 对抗性输入攻击和中毒攻击[11，12]是滥用的例子。在输入攻击中，输入的操作方式可能不会被人眼注意到，例如，当胶带贴在路标上时[11]。相比之下，中毒攻击的目标是人工智能的设计过程和学习过程本身。可以对算法和机器学习所基于的海量数据集进行中毒[11]。除了邪恶的活动，Hartma和Step[12]还讨论了可以用于窃听不同神经网络和支持向量网络的技术。入口点和出口点(并非全部适用于每种方法)包括输入、标记、预处理 、特征提取、分类器和权重。包含噪声生成器和选择器点只是为了说明AI方法既容易受到具有无意破坏性后果的行为，也容易受到故意恶意行为的影响。当数据集被破坏或算法有偏差时，AI得出的结论同样会失真或有偏差。问题的核心在于：我们在多大程度上可以信任AI推荐的结果和决策？ 2.2网络空间运营 AI解决方案的复杂程度各不相同，使用它们的环境对决策的完美性和委托给AI的自治程度都有独特的要求。这尤其适用于网络空间中使用的AI工具。北约，美国和盟国（例如“五眼”成员）目前使用AI来缩小关键时间线，以了解网络威胁态势。人工智能在网络运营中的使用增强了以人类不可能的速度检测威胁和恶意活动的能力。网络专业人员和操作员可以快速识别可疑事件、行为和异常，以进一步调查和部署缓解策略。这降低了广告的可能性。 saries获得访问北约和美国国防部网络，基础设施和武器系统[13]。根据北约的网络空间作战理论([4]，第2页)， 网络空间不仅限于，而且其核心是由人为构建并不断发展的计算机化环境组成。 北约学说([4]，第3页)将网络空间分为三层：物理(e。Procedre，硬件)，逻辑(E。Procedre、固件、协议)和网络角色(虚拟身份，例如Procedre、电子邮件、网络配置文件) 。逻辑层总是参与网络空间操作（CO），但这些操作的影响也会影响网络空间的物理层和网络角色层。此外，北约学说认识到CO可以影响人类的感官，决策和行为。同样，CO可能会对直接包含在网络空间中或与之相连的其他物理元素产生影响。网络空间以外对网络空间有影响的活动(例如Procedre，硬件组件的物理破坏)，然而，不被认为是CO。通常，适用于北约联合行动的基本原则适用于网络空间行动，就像它们适用于动力学领域的行动一样（单独的文件管理该领域的目标）。然而，时间和范围的概念在不同的情况下 可能有所不同。网络空间运营理论。 [4]列出了网络空间行动可能产生的一些直接和间接影响。前五个（1.-5。）是防御性行动通常在自己的通信和信息系统（CIS）中产生的影响，而其余的（6.-10。）是进攻性行动可能对对方（对手的）网络产生的影响。 1.安全反对损害我们自己的CIS的CIA（机密性，完整性和可用性）以及它们存储的数据。 2.隔离对手和我们自己受影响的系统之间的通信。 3.Contain恶意活动的传播。 4.中和来自我们自己的CIS的永久恶意活动。 5.恢复快速摆脱恶意活动的影响(网络弹性)。 6.操纵对手的独联体的完整性。 7.滤液通过未经授权访问自己的CIS来获取对手的信息。 8.Degrade对手的资产，其水平低于正常能力或性能。 9.中断对手在很长一段时间内的资产。 10.摧毁对手的资产。 从法律角度来看，网络运营应符合国际法（例如《联合国宪章》，武装冲突法和人权法 ）以及适用的国内法（i。Procedres.，执行CO的国家法律)。具体的网络运营计划应包括对参与规则（ROE）的描述，以及定义常规权限和CO的预期效果。对两用物体的影响估计(例如Procedre，网络基础设施），其他预期的附带损害以及操作归因的可能性可能很难确定 [4]。 如上所述，国际法文书在《塔林手册》2.0[14]中被外推到网络空间行动，而与常规 武装冲突有关的条约和立法在最初的《塔林手册》1.0[15]中被外推到网络领域。这些手册不是作为具有约束力的国际法提出的，而是像许多其他手册一样(例如Procedre《圣雷莫关于海上武装冲突的国际法手册》[16]）旨在为将现有法律应用于特定复杂或新颖的情况提供指导。在本章中，我们故意将组织中谁负责进行此类操作以及打算进行哪种类型的网络操作的细节排除在讨论之外，因为这些细节显然因州辖区而异。 2.2.1AI支持的网络空间措施的一些示例 在Trog，Diep和Zelia中可以找到防御性和进攻性CO的有用列表[17]：在基于AI的网络应用的防御方面，他们列出了恶意软件检测（PC恶意软件，Adroid恶意软件），网络入侵（入侵检测，异常检测），网络钓鱼/垃圾邮件检测（网络钓鱼，邮件钓鱼，社交媒体上的垃圾邮件，垃圾邮件）和其他类似措施（应对高级持续威胁（APT），识别域名生成算法生成的域名）。对于AI的恶意使用，他们列出了自主智能威胁（加强恶意软件和社会工程）以及用于攻击AI模型的工具（对抗性输入，中毒训练数据和模型提取）。 Kalodi和Li[18]进行了与上述类似的调查，但他们主要是在进攻方面，例如他们还映射到网络定位链中，该网络定位链通常在估计攻击媒介漏洞时使用。该链条包含三个主要阶段和七个子阶段：计划（侦察和武器化），入侵（交付，利用和安装）和执行阶段（C2和行动）。在侦察阶段