Al系统的网络安全治理实践

防护视角下保护AI系统的网络安全实践

目的与范围

本文旨在分享应对AI系统潜在网络安全风险的策略，并提供AI全生命周期各个阶段的安全防护工程实践。文章描述了华为公司应对AI系统网络安全的新风险的工程实践，为客户提供参考。本文不涵盖AI的功能安全问题和AI技术在网络攻击中的滥用问题。

人工智能各界关注与风险

人工智能（AI）自1956年提出以来，经历了多次繁荣与低谷。近年来，随着算力提升和深度学习的应用，AI在各个领域取得了突破，尤其是在生成式AI方面，其应用范围不断扩大。然而，随着AI能力的增强，网络安全问题愈发凸显。各国政府和组织纷纷制定相关法律法规和标准，以应对AI带来的安全挑战。主要国家和地区的人工智能安全法律立法情况如下：

• 欧盟：推出了《人工智能法》，将AI系统按风险等级管理，并对通用人工智能模型进行分类治理。
• 美国：尚未出台系统性的人工智能安全法，但白宫发布行政令强调管理联邦政府使用AI的风险，并要求大模型开发者报告相关信息。
• 中国：提出了《新一代人工智能发展规划》，制定了相关法律法规，形成了人工智能安全评估和管控能力。

人工智能面临的安全风险

AI系统面临多种安全风险，主要包括数据投毒、数据泄露、模型安全、应用安全、算力底座安全和第三方件安全风险。

• 数据安全风险：数据投毒和数据泄露是主要威胁。数据投毒可能导致模型在特定条件下产生错误行为，数据泄露则可能导致个人隐私和商业机密的泄露。
• 模型安全风险：对抗样本和提示词注入是主要威胁。对抗样本通过微小扰动使模型产生错误输出，提示词注入则通过巧妙构造输入文本操纵模型。
• 应用安全风险：智能体安全风险和应用框架安全风险是主要威胁。智能体安全风险可通过提示词注入或对抗样本操纵模型执行恶意任务，应用框架安全风险则可通过注入恶意代码完全控制AI系统。
• 算力底座安全风险：硬件层和操作系统层的安全风险可通过侧信道技术窃取关键模型信息，第三方件安全风险则可通过组件漏洞实现恶意行为。

华为公司人工智能发展与现状

华为公司自2012年成立诺亚方舟实验室以来，逐步构建了三个层次的系列大模型：L0层为基础大模型，L1层为行业大模型，L2层为场景大模型。华为公司致力于开发全栈自研技术，推出了昇腾芯片等系列产品，形成了完整的AI软硬件平台。

华为公司人工智能系统的网络安全防护实践

华为公司在AI系统的网络安全防护方面采取了多项措施，包括数据安全、模型安全、应用安全和算力底座安全等方面的防护策略。这些措施旨在确保AI系统符合设计意图地可靠运行，有效应对人为操纵的威胁。