网络安全标准实践指南——人工智能应用安全指引 卫生健康

人工智能应用安全指引卫生健康（v1.0-202609）

摘要

本文件旨在提升卫生健康领域人工智能应用安全水平，依据相关法律法规和政策文件，制定人工智能应用安全指引系列文件。系列文件包含通用文件和行业领域文件，本文件属于行业领域文件，指导医疗卫生机构和技术提供方在卫生健康领域开展人工智能应用活动。

范围

本文件给出卫生健康领域应用人工智能的安全指引，包括总体原则、业务安全、应用流程安全和应用场景安全。适用于指导各类医疗卫生机构和技术提供方在卫生健康领域开展人工智能应用活动，亦可为卫生健康行政部门提供决策参考。

规范性引用文件

包括GB/T 35273、GB/T 39725、GB/T 41867、GB 45438、GB/T 45654、GB/T 45674、YY/T 0664、TC260-005、TC260-PG-20268A等标准。

术语和定义

采用TC260-PG-20268A《网络安全标准实践指南——人工智能应用安全指引总则》附录A中界定的术语和定义。

概述

人工智能技术在卫生健康领域的应用涉及应用场景、应用流程、风险等级等方面，是一个多维、动态、场景化的复杂系统。应依据其所属的应用场景特性、所处的生命周期阶段以及被评定的风险等级进行综合评估，实施差异化、精细化的安全管理策略。

总体原则

• 强化数据安全与隐私保护
• 增进人类福祉、安全和公共利益
• 保护人类的自主性
• 确保透明性和可解释性
• 确保包容性和公平性
• 风险分级分类
• 厘清责任和实行问责制
• 推广反应迅速且可持续的人工智能应用

业务安全指引

• 医生主导与人工智能辅助：人工智能仅作为辅助工具，不得替代医生的专业判断及伦理责任。
• 患者知情与伦理合规：保证患者知情同意及伦理合规要求，包括知情同意机制、伦理审查要求等。

应用流程安全指引

• 应用过程：人工智能应用流程贯穿其从设计到下线的完整生命周期，包括前期规划、设计开发、验证确认、部署、运行和监控、持续验证评估、退役下线等七个阶段。
• 其他安全要求：系统输出的结论应具备一定的可解释性，评估系统在不同人群亚组中的性能表现，完整记录所有用户的操作日志，通过伦理部门的审查，完成卫生健康行政管理部门备案。

应用场景安全指引

• 医疗辅助与支持：包括应急救护与远程医疗、生成式电子病历、影像辅助判读、临床决策支持等，安全指引包括技术提供方确保网络与数据链路稳定、加强数据隐私安全保护、明确算法适用范围与责任边界等。
• 患者服务与应用：包括智能问答、患者随访、慢病管理、智能客服等，安全指引包括确保医学术语映射的准确性、建立危急值识别与阻断机制、由医疗卫生机构发起并设定个体化干预方案等。
• 公共卫生与应急：包括传染病智能监测、流行病学调查分析、突发公共卫生事件预警等，安全指引包括落实数据安全与隐私保护、建立反馈与纠错闭环、建立多部门协同决策记录机制等。
• 健康教育与科研：包括智能药械研发与科教管理、智能健康风险评估与筛查、医学知识科普等，安全指引包括提供知识应有准确权威来源、构建来源可靠的知识库、确保专业人员对临床试验的核心决策拥有最终控制权等。
• 卫生管理与其他应用：包括医院管理、区域管理、医疗资源调度、医保基金监管等，安全指引包括技术提供方应重点保障业务连续性、避免数据偏见导致宏观决策失当、关注数据隐私保护等。

附录A

卫生健康领域人工智能应用风险分级

• 风险识别：结合系统功能、应用场景、数据性质、决策影响等因素进行综合分析，包含系统功能与决策介入程度、数据敏感性与隐私影响、系统潜在危害类型与严重性评估、伦理与社会影响等方面。
• 风险评估：组织临床、技术、伦理等多学科团队从人工介入程度、结果严重程度、经济与社会影响等级、伦理与合规风险等级四个维度进行量化分析。
• 风险定级：分为特别重大风险、重大风险、较大风险、一般风险、低风险五类，并详细描述了各类风险的界定标准。