谷歌搜索引擎框架方法（英）

安全的AI框架方法 实施安全AI框架（SAIF）的快速指南 目录 简介2 将SAIF付诸实践3 3 3 4 4 4 6 7 协调平台级控制，确保整个组织的一致安全性7 8 9 11 简介 安全AI框架（SAIF）是安全人工智能（AI）系统的概念框架。它的灵感来自于安全最佳实践——如审查、测试和控制供应链——谷歌将其应用于软件开发，同时结合了我们对人工智能系统特有的安全大趋势和风险的理解。SAIF提供了一种实用的方法来解决安全和风险专业人员最关心的问题，例如： ●保安 a)访问管理 b)网络/端点安全 c)应用程序/产品安全 d)供应链aacks e)数据安全 f)AI特定威胁 g)威胁检测和响应 ●AI/ML模型风险管理 a)模型透明度和问责制 b)用于检测异常的容易出错的手动检查 c)数据中毒 d)数据沿袭、保留和治理控制 ●隐私和合规性 a)数据隐私和敏感数据的使用 b)新兴法规 ●人员和组织 a)人才缺口 b)治理/董事会报告 本快速指南旨在提供有关组织如何将SAIF方法构建到其现有或新采用的AI中的高级实践考虑。Fufiher的内容将更深入地研究这些主题-现在，我们将重点关注SAIF六个核心要素中每个要素下需要解决的优先事项 ： ●将强大的安全基础扩展到AI生态系统 ●扩展检测和响应，将AI引入组织的威胁模型 ●自动化防御以跟上现有和新威胁的步伐 ●协调平台级控制，确保整个组织的一致安全性 ●调整控制以调整缓解措施并为AI部署创建更快的反馈循环 ●在周围的业务流程中对AI系统风险进行情境化 将SAIF付诸实践 第1步-了解使用 许多组织正在考虑首次使用AI，或者扩展他们必须利用新的GeerativeAI（GeAI）功能的AI解决方案。在所有情况下，了解AI将解决的特定业务问题以及训练模型所需的数据，将有助于推动需要作为SAIF的pafi实现的策略，协议和控件。例如，与用于对消费者财务状况进行预测的模型相比，旨在分析或处理现有数据的模型，例如总结分析师报告或检测欺诈的模型，可能涉及较少的复杂问题(例如，g.信用风险模型)，由于对消费者的潜在影响和适用的消费者保护义务，这将带来额外的挑战。模型如何与最终用户交互的上下文也起着举足轻重的作用。例如，与用于股票交易的模型相比，外部暴露的AI模型（吸收最终用户的输入）将对安全性和数据治理有不同的要求。除此之外，使用第三个pafiy与开发和/或训练你自己也将有不同的含义与安全的基础设施和开发平台，监测模型的行为和结果，威胁检测和保护。 因此，彻底了解AI用例将确保SAIF的实施能够捕获pafiicular部署的复杂性和风险。 步骤2-组建团队 开发和部署人工智能系统，就像传统系统一样，是多学科的功效，包括类似的元素，如风险评估、安全/隐私/合规控制、威胁建模和事件响应。此外，人工智能系统是复杂和不透明的，有大量的移动数据，依赖于大量的数据，是资源密集型的，可以用来应用基于判断的决策，并且可以生成可能具有攻击性的新内容，有害的，或者可以延续刻板印象和社会偏见。这扩大了团队的组成，包括跨多个组织的利益相关者，例如： ●业务用例所有者 ●保安 ●云工程 ●风险和审计团队 ●隐私 ●Legal ●数据科学团队 ●开发团队 ●负责任的AI和道德 建立正确的跨职能团队可确保stafi中包含安全性，隐私性，风险和合规性考虑因素，而不会增加事实。 步骤3-使用AI底漆设置级别 AI，尤其是GeAI，是一项新兴且快速发展的技术。随着团队开始评估业务使用、各种不断发展的复杂性、风险和安全控制，至关重要的是，相关人员必须了解AI模型开发生命周期的基础知识、模型方法的设计和逻辑，包括功能、优点和局限性。与AI，机器学习（ML），深度学习，GeAI，大型语言模型（LLM）等概念保持一致。，将水平设置并允许非技术利益相关者准确捕获和评估安全负责地管理和部署AI所需的风险和控制。 步骤4-应用SAIF的六个核心元素 一旦知道了用例和上下文，团队就已经在AI上组装和准备好了，您可以stafi应用SAIF的六个元素来解决前面提到的一些问题。应该指出的是，这些元素并不是按时间顺序应用的，而是共同指导组织以安全和负责任的方式构建和部署人工智能系统的杠杆。 将强大的安全基础扩展到AI生态系统 查看跨安全域的哪些现有安全控制适用于AI系统 跨安全域的现有安全控制以多种方式应用于AI系统。例如，数据安全控制可用于保护AI系统用于训练和操作的数据。应用安全控制可用于保护AI系统在其中实现的软件；基础设施安全控制可用于保护AI系统所依赖的底层基础设施；操作安全控制可用于确保AI系统以安全的方式运行。 所需的特定控件将根据AI的使用以及特定的AI系统和环境而有所不同。 使用可用框架评估传统控制与AI威胁和风险的相关性 传统的安全控制可能与AI威胁和风险相关，但可能需要对其进行调整以使其有效，或者在防御态势中添加其他层以帮助覆盖AI特定的风险。例如，数据加密可以帮助保护AI系统免受未经授权的攻击 通过限制密钥对cefiain角色的访问来访问，但它也可能需要用于保护AI模型及其基础数据不被窃取或篡改 。 通过分析来确定由于AI特定的威胁，法规等而需要添加哪些安全控制。 使用聚集的团队，审查您当前的控件如何映射到您的AI用例，对这些控件进行适合目的的评估，然后制定计划来解决差距区域。完成所有这些操作后，还要根据这些控制是否降低了风险以及它们对您预期的AI使用的程度来衡量这些控制的有效性。 准备存储和跟踪供应链资产、代码和培训数据 使用人工智能系统的组织必须准备好存储和跟踪供应链资产、代码和培训数据。这包括识别、分类和保护所有资产，以及监控未经授权的访问或使用。通过采取这些步骤，组织可以帮助保护其人工智能系统免受aMack的侵害。 确保您的数据治理和生命周期管理可扩展并适应AI。 根据您遵循的数据治理定义，最多可以有六个决策域用于数据治理： ●数据质量 ●数据安全 ●数据架构 ●元数据 ●数据生命周期 ●数据存储 人工智能数据治理将变得比以往任何时候都更加强大。例如，人工智能模型有效性的一个关键基础是训练数据集。当涉及到数据集时，确保您有一个适当的生命周期管理系统，特别强调安全性作为生命周期的pafi（i。e.具有从创建数据到最终销毁嵌入在整个生命周期中的数据的安全措施)。数据沿袭也将发挥关键的作用 ，并帮助回答有关隐私和知识产权的问题。如果您知道数据的创建者，来源以及组成数据集的内容，那么回答上述主题的问题就容易得多。 随着AI采用率的增长，您的组织的成功可能取决于以敏捷的方式扩展这些决策域。为了帮助支持这种效果 ，至关重要的是与跨职能团队一起审查您的数据治理策略，并可能对其进行调整以确保其反映AI的进步 。 保留和再培训 我们不是在谈论AI，而是在谈论人。对于许多组织来说，在安全、隐私和合规方面找到合适的人才可能需要多年的时间。采取措施留住这些人才可以增加你的成功，因为他们可以接受与人工智能相关的技能的再培训 ，而不是从外部招聘可能具有特定人工智能知识但缺乏可能需要更长时间才能获得的机构知识的人才。 扩展检测和响应，将AI带入组织的威胁范围 了解对AI使用场景至关重要的威胁，所使用的AI类型等。 使用AI系统的组织必须了解与其特定AI使用场景相关的威胁。这包括了解他们使用的AI类型、用于训练AI 系统的数据以及安全漏洞的潜在后果。通过采取这些步骤，组织可以帮助保护其AI系统免受aMack的侵害 。 准备应对针对AI的攻击以及AI输出提出的问题 使用AI系统的组织必须制定计划来检测和响应安全事件，并减轻AI系统做出有害或有偏见的决策的风险。通过采取这些步骤，组织可以帮助保护其AI系统和用户免受伤害。 具体来说，对于GenAI，专注于AI输出-准备实施内容安全策略 GenAI是一个强大的工具，用于创建各种内容，从文本到图像再到视频。然而，这种力量也有可能被滥用。例如，GenAI可以用来创建有害内容，如仇恨言论或暴力图像。为了减轻这些风险，准备执行内容安全策略是不恰当的。 根据特定于AI的事件类型（如恶意内容创建或AI隐私侵犯）调整滥用策略和事件响应流程 随着AI系统变得越来越复杂和普遍，调整您的滥用策略以处理滥用用例，然后调整您的事件响应流程以考虑特定于AI的事件类型是不明智的。这些类型的事件可能包括恶意内容创建、AI隐私侵犯、AI偏见和系统的一般滥用。 自动化防御以跟上现有和新威胁的步伐 确定专注于保护AI系统，训练数据管道等的AI安全功能列表。 人工智能安全技术可以保护人工智能系统免受各种威胁，包括数据泄露、恶意内容创建和人工智能偏见 。其中一些技术包括传统的数据加密、访问控制、审计，这些技术可以通过人工智能和更新的技术来增强，这些技术可以优化训练数据保护和模型保护。 使用AI防御来应对AI威胁，但在必要时让人类参与决策 AI可用于检测和响应AI威胁，例如数据泄露、恶意内容创建和AI偏见。然而，人类必须留在圈子里做出冒失的决定，比如确定什么是威胁以及如何应对。这是因为人工智能系统可能会有偏见或犯错误，而人类的监督对于确保人工智能系统以道德和负责任的方式使用是必要的。 使用AI自动执行耗时的任务，减少工作量并加快防御机制 尽管从人工智能的用途来看，这似乎是一个更简单的观点，但使用人工智能来加快耗时的任务最终将导致更快的结果。例如,对恶意软件二进制进行反向工程可能是耗时的。但是，AI可以快速查看相关代码，并为分析师提供可操作的信息。使用该信息,分析者然后可以要求系统生成寻找这些动作的YARA规则。在此示例中 ，防御姿势的辛劳立即减少，输出更快。 统一计划级别控制，确保整个组织的一致安全性 查看AI的使用情况和基于AI的应用的生命周期 如步骤1所述，了解AI的使用是关键组成部分。一旦AI在您的组织中得到更广泛的使用，您应该实施一个定期审查使用情况的流程，以识别和减轻安全风险。这包括审查正在使用的AI模型和应用程序的类型，用于训练和运行AI模型的数据，为保护AI模型和应用程序而采取的安全措施，监视和响应AI安全事件的程序以及对所有员工的AI安全风险意识和培训。 通过尝试标准化工具和框架来防止控件的碎片化 通过上述流程，您可以了解现有的工具，安全控制和框架。同时，检查您的组织是否具有不同或重叠的安全和合规性控制框架以帮助 减少碎片。碎片化将增加复杂性并产生显著的重叠,从而增加成本和低效率。通过协调您的框架和控制，并了解它们对您的AI使用环境的适用性，您将限制碎片化，并为控制提供“合适”的方法来降低风险。本指南主要参考现有的控制框架和标准，但同样的原则(e。g.尽量保持总数尽可能少)将适用于新的和新兴的人工智能框架和标准。 调整控制以调整缓解措施并为AI部署创建更快的反馈循环 进行红队演习，以提高人工智能产品和功能的安全性 RedTeamexercises是一种安全测试方法，道德黑客团队利用组织的系统和应用程序中的漏洞进行攻击。这可以帮助组织识别和减轻其AI系统中的安全风险，然后再被恶意行为者利用。 掌握新的攻击，包括及时注入、数据中毒和逃避攻击 这些aMack可以利用AI系统中的漏洞造成伤害，例如泄漏敏感数据，做出错误的预测或中断操作。通过保持最新的aMack方法，组织可以采取措施来减轻这些风险。 应用机器学习技术提高检测精度和速度 虽然专注于保护人工智能的使用是至关重要的，但人工智能也可以帮助组织实现更大规模的安全成果（参见上面步骤3中的参考）。例如，人工智能辅助的检测和响应能力可能是任何组织的重要资产。与此同时 ，让人类参与监督相关的人工智能系统、流程和决策至关重要。随着时间的推移，这种效果可以推动持续学习，以改善AI基础保护，更新训练和微调基础模型的数据集，以及用于建筑保护的ML模型。反过来，这将使组织能够随着威胁环境的发展而战略性地应对aMacs。持续学习对于提高准确性、减少延迟和提高保护效率也至关重要。