您的浏览器禁用了JavaScript(一种计算机语言,用以实现您与网页的交互),请解除该禁用,或者联系我们。 全国网安委:《网络安全标准实践指南——人工智能应用安全指引 总则|信息技术研报》-发现报告

网络安全标准实践指南——人工智能应用安全指引 总则

信息技术 2026-09-15 全国网安委 Mascower
网络安全标准实践指南——人工智能应用安全指引 总则

猜你想问

这份报告主要讲了什么内容?

这份报告是《网络安全标准实践指南》系列文件之一,主要提供人工智能应用安全的通用指引。报告规定了人工智能应用安全的基本原则和各阶段通用安全指引,包括前期规划、设计开发、验证确认、部署、运行监控、持续验证评估以及退役下线等阶段的安全要求。报告强调以人为本、风险分级、全程覆盖、客观验证和动态调整等原则,旨在帮助各行业领域开展人工智能应用活动时进行安全风险防范与管理,并为监管部门和第三方评估机构提供参考。

人工智能应用安全有哪些行业发展趋势?

人工智能应用安全的发展趋势主要体现在以下几个方面:一是安全能力要求贯穿应用全生命周期,从前期规划到后期退役都需要考虑安全问题;二是强调人工智能技术的可解释性、公平性和鲁棒性等内生安全能力设计;三是重视数据安全管理,包括数据来源安全、标注流程规范、清洗过滤和安全管理机制等;四是加强安全测评和验证,采用人工与自动化结合的方式测试生成内容、物理装置控制、重大决策和特殊群体保护等安全;五是建立动态调整机制,持续监测和评估人工智能应用的安全性、可靠性,并根据风险变化及时调整安全措施。

报告重点分析了哪些安全方向?

报告重点分析了人工智能应用安全的多个方向,包括:前期规划阶段的安全风险识别、分级保护、能力评估、安全措施制定等;设计开发阶段的技术可解释性、开源资源安全审计、训练数据安全、标注流程规范、数据清洗过滤等;验证确认阶段的可靠性、公平性指标测试、生成内容安全、物理装置控制安全、重大决策安全、特殊群体保护等;部署阶段的安全防护技术、软硬件设备检测、针对性安全保护措施、算力配置及资源选择等;运行监控阶段用户输入检测、监看人员设置、生成合成内容标识、恶意输入防范、无条件救济保障措施、信息交互行为规范等;持续验证评估阶段的年度或风险变化时的安全测试、重大风险事件或应用场景变化时的安全设计检查等;以及退役下线阶段的安全评估、安全平稳停止、算法模型数据安全处置、产品服务数据安全处置等。此外,报告还强调了按照等级保护、个人信息保护、数据安全保护、密码应用和关键信息基础设施等要求开展相关工作。

当前人工智能应用市场现状如何?

当前人工智能应用市场正处于快速发展阶段,应用场景不断拓展,但安全风险也随之增加。市场上存在多种人工智能应用,包括生成内容、物理装置控制、重大决策支持等,这些应用在提升效率、改善生活质量的同时,也面临着数据泄露、算法偏见、恶意攻击等安全威胁。因此,市场对人工智能应用安全的关注度日益提高,相关标准和规范逐渐完善,企业也在不断加强安全能力建设,以应对日益复杂的安全挑战。然而,人工智能技术的快速发展和应用场景的不断变化,也给安全防护带来了新的挑战,需要持续关注和应对。

这份报告有哪些需要关注的风险提示?

这份报告提示了人工智能应用安全中需要关注的风险,包括:一是数据安全风险,如训练数据泄露、数据投毒等;二是算法安全风险,如算法偏见、可解释性不足等;三是模型安全风险,如模型被攻击、失效等;四是应用场景安全风险,如生成内容安全、物理装置控制安全、重大决策安全等;五是运行监控风险,如用户输入恶意攻击、信息交互行为不规范等;六是持续验证评估风险,如安全测试不充分、安全设计不合理等;七是退役下线风险,如数据无法安全处置、系统骤停等。此外,报告还提示了需要按照相关法律法规要求开展个人信息保护、数据安全保护、密码应用和关键信息基础设施等安全工作,以防范合规风险。