AI韧性：AI安全的革命性基准模型

©2024云安全联盟大中华区版权所有1 人工智能治理与合规工作组官网： https://cloudsecurityalliance.org/research/working-groups/ai-governance-compliance ©2024云安全联盟大中华区-保留所有权利。你可以在你的电脑上下载、储存、展示、查看及打印，或者访问云安全联盟大中华区官网（https://www.c-csa.cn）。须遵守以下：(a)本文只可作个人、信息获取、非商业用途；(b)本文内容不得篡改；(c)本文不得转发；(d)该商标、版权或其他声明不得删除。在遵循中华人民共和国著作权法相关条款情况下合理使用本文内容，使用时请注明引用于云安全联盟大中华区。 ©2024云安全联盟大中华区版权所有2 ©2024云安全联盟-版权所有。3 致谢 报告中文版支持单位 启明星辰集团成立于1996年，由留美博士严望佳女士创建，2010年在深圳A股中小板上市，是网络安全产业中主力经典产业板块的龙头企业，是新兴前沿产业板块的引领企业，是可持续健康业务模式和健康产业生态的支柱企业。2024年1月，启明星辰正式由中国移动实控，成为中国移动专责网信安全专业子公司，标志着公司迈入全新的发展阶段。多年来，启明星辰持续深耕于信息安全行业，始终以用户的需求为根本动力，将场景化安全思维融入到客户的实际业务环境中，不断地进行创新实践，帮助客户建立起完善的安全保障体系，逐渐成为政府、金融、能源、运营商、税务、交通、制造等国内高端企业级客户的首选品牌。启明星辰入侵检测/入侵防御、统一威胁管理、安全管理平台、数据安全、运维安全审计、数据库安全审计与防护、漏洞扫描、工业防火墙、硬件WAF、托管安全服务等十余款产品持续多年保持第一品牌。 参与本次报告的专家： 张镇，启明星辰知白学院院长、首席技术官郭春梅，启明星辰副总裁、首席技术战略专家卞超轶，启明星辰核心技术研究院副院长 杨天识，启明星辰高级安全专家 沙明烊，启明星辰知白学院资深技术专家 启明星辰是CSA大中华区理事单位，支持该报告内容的翻译，但不影响CSA研究内容的开发权和编辑权。 ©2024云安全联盟大中华区版权所有4 报告英文版编写专家 主要作者PareshPatel PiradeepanNagarajan Dr.ChantalSpleiss 贡献者 RomeoAyalinFilipChylaBeckyGaylordFrederickHanigRockyHeckmanHadirLabibLarsRuddikeitAlexSharpeAshishVashishtha 审稿人 SounilYuDebjyotiMukherjeeMichaelRozaPeterVenturaUdithWickramasuriyaGovindarajPalanisamyMadhaviNajanaRakeshSharma GaetanoBisazHongtaoHao,PhDEllePyleGauravSinghKenHuangKennethT.MorasTolgayKizilelma,PhDAkshayShettySauravBhattacharyaPejuOkpamenGabrielNwajiakuMeghanaParwateAkshatVashishtha HemmaPrafullchandraRenataBudkoDesmondFooScottS.NewmanGianKapoorImranBanani ElierCruzMadhavChablani CSA全球员工 DavideScattoRyanGifford StephenLumpe ©2024云安全联盟大中华区版权所有5 序言 在当今时代，人工智能（AI）技术的迅猛发展正深刻地改变着我们的世界。AI的应用范围从医疗健康到自动驾驶，从金融交易到国防安全，其决策能力不断增强，同时也带来了前所未有的风险和挑战。AI的可靠性和安全性受到了严格的审视，这要求我们必须确保AI系统的鲁棒性和可信赖性。 为了应对这些挑战，CSA大中华区发布了《AI韧性：AI安全的革命性基准模型》报告。本报告旨在通过引入一个全新的基准模型来评估和提升AI的整体质量，确保AI技术的安全和稳健发展。 报告详细讨论了AI治理与合规的重要性，并分析了AI技术的发展历史和当前的训练方法。通过一系列实际案例研究，揭示了AI失败的教训，并针对汽车、航空、关键基础设施等行业的监管挑战进行了深入分析。报告提出了一个受生物进化启发的AI韧性基准模型，强调了多样性和韧性在AI系统中的重要性，并给出了AI韧性评分的标准。 通过本报告提出的AI韧性评分系统，企业和组织将获得一个全新的评估工具，以指导他们对AI系统的评估和优化工作。期待这份报告能激发更广泛的讨论和行动，共同塑造AI技术的未来，让其更好地服务于人类社会的发展。 李雨航YaleLiCSA大中华区主席兼研究院院长 ©2024云安全联盟大中华区版权所有6 目录 导言8 第一部分：基本理论9 1.1治理与合规9 1.1.1治理与合规：不断变化的目标9 1.2人工智能概览11 1.2.1人工智能简史11 1.2.2人工智能技术12 1.2.3训练方法概述14 1.2.4训练方法的监管和伦理考量16 1.3人工智能技术的许可、专利和版权17 第二部分：真实案例研究和行业挑战17 2.1人工智能案例简史研究18 2.2行业：法规与挑战20 2.2.1汽车21 2.2.2航空22 2.2.3关键基础设施和基本服务23 2.2.4国防26 2.2.5教育29 2.2.6金融30 2.2.7医疗保健34 第三部分：人工智能韧性的重构，受进化论启发的基准模型39 3.1比较：生物进化与人工智能的发展39 3.2人工智能系统的多样性和韧性40 3.3对人工智能韧性进行基准测试的挑战40 3.4人工智能韧性的定义40 3.5人工智能韧性评分标准41 3.6智能感知42 3.7智能系统的基本差异42 ©2024云安全联盟大中华区版权所有7 摘要 为了应对人工智能治理与合规的复杂挑战，本文引入了一种革命性的AI基准模型。在追求收入增长的过程中，技术革新的步伐常常超过了监管措施的建立速度，这往往导致AI系统的鲁棒性和可信赖性无法得到充分保障。为了弥补这一关键性不足，我们基于进化论和心理学原理设计出了一个创新的AI基准模型。该模型将鲁棒性与性能置于同等重要的位置，从而帮助企业的领导者更加主动地评估其AI系统的整体质量。 我们从过去人工智能失败的案例研究中汲取教训，并深入分析汽车、航空、关键基础设施与基本服务、国防、教育、金融和医疗等行业，为企业提供了实用的见解和可操作的指导。我们倡导将多元化的视角与监管准则相结合，以推动行业朝着更合乎道德、更可信赖人工智能应用方向发展。其中，注重系统可信度是最大限度降低风险、保护企业声誉以及促进负责任的人工智能创新、部署和应用的关键。 本文件可为政府官员、监管机构和行业领袖等关键决策者提供支持，旨在协助他们建立人工智能治理框架，确保人工智能的开发、部署和使用均符合道德标准。此外，本文还引入了一种新型基准测试模型来评估人工智能的质量，为企业的长期成功提供了实用工具。 导言 人工智能（AI）的快速发展带来了前所未有的进步。然而，随着人工智能系统变得越来越复杂，风险也在不断升级。从医疗算法偏见到自动驾驶汽车失灵，这些事件都在警示我们人工智能失灵将带来严重后果。当前的监管创新往往难以跟上技术进步的步伐，这将对企业的声誉和运营带来巨大的潜在风险。 为了应对这些挑战，本文件强调了用更全面的视角应对人工智能治理和合规性的迫切需求。我们将探讨AI的基础理论，研究各关键行业中存在的问题，并为负责任AI的实施提供实用指导。我们提出了一种新颖的方法，将人工智能的演变与生物学的进化进行比较，并引入了一个发人深省的概念——多样性，以提高人工智能技术的安全性。我们还将讨论不同智能之间的差异以及这些系统之间 ©2024云安全联盟大中华区版权所有8 如何成功地进行交互。同时，我们还提出了一个创新的基准框架，旨在提高AI 这一颠覆性技术的安全性和可靠性。 这一创新方法使决策者和技术团队能够评估人工智能系统的安全性和可信度。我们倡导整合不同的观点和监管准则，以促进人工智能的创新符合伦理，并建立强有力的治理实践。 第一部分：基本理论 1.1治理与合规 治理和合规是组织管理的重要部分，可确保企业遵守业务行为准则中概述的法规、道德原则、标准和可持续实践。与上述原则和法规保持一致，可确保有效的业务连续性和道德实践。 治理[1]是指对某一事物的监督和控制，以自上而下的方式实施。高级管理层负责制定战略和风险偏好，并通过政策、标准及程序建立治理框架。这些指令塑造了组织的整体风险管理方法、合规义务和决策过程。治理在企业内部营造了一种文化氛围，它强调责任、透明、道德和可持续性，同时确保公司上下都重视安全和隐私保护。 与自上而下的治理方法相反，合规[2]遵循的是自下而上的方法，即各级员工执行并遵守高级管理层制定的治理框架，以满足监管要求。合规的重点是确保组织内部所有员工都遵守法律法规和行业标准，以及企业内部制定的业务行为准则。它是组织管理的重要组成部分，可确保组织在适用的法律法规要求、可接受的道德底线范围内运营，并最小化风险暴露面。 1.1.1治理与合规：不断变化的目标 虽然治理和合规是明确界定的目标，但人工智能的使用却对传统方法提出了挑战。人工智能可以从不同的角度来定义，如作为一种技术、一套使用一个或多个模型的系统、一个业务应用或一个用户平台。人工智能可以服务于单一或多个终端用户，可以被企业、信息中介或其他人工智能技术用来执行任务、解决问题、 ©2024云安全联盟大中华区版权所有9 做出决策或与环境互动。围绕人工智能使用的最佳实践、标准和法规仍在不断发展，这使得制定一套既具体、又可实施，还能进行有效监控的合规要求具有挑战性。对于开展国际业务的公司来说，这一挑战呈指数级增长。当前，大多数法规在内容上存在重叠，却鲜有根本性的创新主张来提高人工智能的安全性，而我们的框架正是基于以下这些通用性需求而构建的。 人类监督：确保人工智能受到人类的监督和控制，并建立机制，以便在必要时进行人工干预和决策。应将人类监督与自动化监控相结合，作为主要的监控手段。在明确需要人为干预的特定情境中引入人类监督。这使得本指导文件具有可扩展性和实际适用性。 安全性和可靠性：优先考虑人工智能技术的安全性和可靠性，最大限度地降低对个人或社会造成伤害的风险。要做到这一点，就必须进行严格的测试、验证和风险评估，并确保在系统出现故障时能启动锁定开关或采取补救措施。 伦理考虑：确保人工智能遵守道德原则、尊重人权和促进公平。 数据隐私和安全：应实施增强的数据保护和安全措施，以保护敏感信息和隐私，防止未经授权访问或滥用数据。在设计阶段，应采用隐私设计 （Privacy-by-Design）和安全设计（Security-by-Design）的原则，以便在流程早期就降低风险（这体现了DevSecOps中的“左移”理念）。这样做可以限制最终产品中的外挂式安全和不可预见的风险。 人工智能模型和数据考虑因素： 减少偏见：解决数据和算法设计中的偏见问题，并定期对AI系统进行监测和评估，以识别并消除偏见和歧视。偏见是一个复杂的话题，需要在必要的信息和算法与刻板分类的风险之间取得平衡。 透明度：通过明确解释AI的工作原理，包括其算法和影响决策的因素，来确保AI的透明度。实施XAI（可解释的AI）[2]，[3]有助于促进信任，为知情决策奠定基础，同时发现可能存在的偏见。在医疗保健领域，这一点至关重要，已被广泛认可。无论在哪个行业，如果输出是由AI产生的，用户都应被告知。 ©2024云安全联盟大中华区版权所有10 一致性：一致性的数据可确保人工智能模型能够从准确和可靠的实例中学习。这对模型生