概述与引言
随着临床人工智能（AI）工具在医疗保健领域的规模化部署，医疗机构和监管机构面临日益增长的挑战，需要理解和管理工作中潜在的患者安全风险。新兴的AI安全风险难以通过现有的患者安全监测系统检测，传统上，安全事件通常由临床医生、患者或家属发现，但临床AI工具往往对患者来说难以察觉，这使得患者报告AI安全事件更加困难。
生命周期风险管理
AI工具虽然能为临床医生和患者带来价值，但其复杂性相较于传统临床工具引入了额外的风险，包括性能漂移和偏见。医疗机构有道德和法律义务识别和管理威胁患者安全的风险。除了传统的安全报告/问题管理和文档记录外，临床AI的主动风险管理还应包括工作流程集成、培训和监控，这些需要考虑单个模型性能、工作流程整合、培训以及监控。
挑战与现状
目前，许多医疗机构缺乏足够的专业知识来管理AI相关的风险，并且现有的监管框架对于临床AI工具是碎片化和令人困惑的。监管机构分散在多个联邦机构，而不是集中在一个权威机构。此外，教育、治理和沟通方面的差距，以及临床医生对AI工具的信任程度不同，都可能导致患者安全事件的报告不足或错误归因。
风险管理框架
NIST人工智能风险管理框架和Playbook以及IHI Lucian Leape Institute的报告都强调了患者安全在AI治理中的重要性。CHAI开发的框架和指导方针强调了患者安全、偏见缓解、透明度、治理和持续监控。Duke Health的AI安全框架通过将AI工具安全监控集成到现有的安全报告系统中，而不是重复系统，来加强其报告系统。
预部署和部署后风险管理
在预部署阶段，部署团队应系统地记录在开发、测试和本地验证过程中识别的已知风险，并根据潜在的患者安全事件的严重性和可能性进行评估。部署团队还应创建风险管理计划，包括用户培训、监控策略和缓解措施。在部署后阶段，应监控工具性能，评估缓解措施的有效性，并跟踪和审查患者安全事件。
跨系统学习网络
跨系统学习网络通过受保护的 学习环境 和定期会议促进医疗机构、监管机构和开发人员之间的合作，以促进透明度、监督和持续改进。建立结果注册表可以收集和分析AI工具实施性能和安全性的数据。现有的共享临床AI工具学习模式包括供应商领导的用户论坛和多利益相关方倡议。
政策建议
政策制定者应考虑使用安全港湾或其他责任保护措施，以鼓励信息共享，支持跨机构AI安全风险和结果的学习，并减少透明报告AI相关安全事件的法定障碍。政策制定者还应激励医疗机构实施安全和风险管理计划。
结论
AI在临床护理中的整合有可能在结果、成本和获取方面带来变革，但成功取决于主动的风险管理和负责任的实施。为了确保这些工具增强而不是损害患者安全，医疗机构需要AI治理机构来系统地识别、评估和减轻从设计、开发到部署和监控的风险。AI驱动的风险复杂性和创新的快速发展需要协作方法来确保患者安全，并确保技术支持和基础设施能够帮助资源较少的医疗机构安全、公平地实施这些工具。
