监管环境：现状如何？
截至2025年1月，全球已有69个国家提出或实施了超过1000项与人工智能相关的政策倡议和法律框架。欧盟于2024年发布的《人工智能法案》是全球首个且最具影响力的综合性人工智能法律框架，采用基于风险的监管方法，并规定了与人工智能系统潜在影响相称的义务。该法案将于2026年8月2日起对高风险人工智能系统实施强制性义务，而企业需主动与其精神保持一致，否则将面临最高3500万欧元或全球年营业额7%的罚款。欧洲药品管理局（EMA）、美国食品药品监督管理局（FDA）和英国药品和健康产品管理局（MHRA）均发布了草案框架，世界卫生组织国际医学科学组织委员会（CIOMS）第XIV工作组也在制定一个基于现有监管指南的框架，专注于人工智能在药物警戒和药物安全领域的应用。
面临的挑战：我们面临什么？
成功在药物警戒和药物安全流程中实施人工智能需要克服几个障碍。首先，信任问题。生成式人工智能解决方案使用大型语言模型（LLM），由于其软件的“黑箱”性质，导致缺乏透明度和控制。建立对缺乏完全可解释性的人工智能模型的信任和信心令人不安。其次，跨学科合作。将人工智能整合到药物安全实践中需要在开发人员、数据分析师、计算机科学家、药物警戒专家和业务运营之间进行多学科合作，以确保人工智能在部署前、中、后都能按预期工作。最后，由于人工智能在药物安全中的应用相对较新，缺乏正式指南，因此许多制药公司可能没有现有的知识来验证动态人工智能。例如，如何将生成式人工智能系统的模型开发假设和评估指标纳入其中？哪些评估指标是合适的？应实施哪些统计指标？如何确保监管机构对我们的验证技术感到满意？如何确保其在真实世界数据中的表现？
解决方案：如何安全地从传统人工智能转向生成式人工智能？
从传统人工智能转向生成式人工智能的唯一实质性差异是在插入信任层——人工智能治理——以及对这些技术行为和风险差异的深入理解。人工智能治理是确保人工智能质量的一部分，它需要考虑以下原则：
- 人工智能模型是否遵循基于风险的监管方法？
- 发生问题的可能性有多大？如果出现问题，将如何解决？
- 该人工智能模型是高风险、中风险还是低风险？这些风险可能产生什么后果？
- 失败的后果是什么？
- 所有与该流程接触的控制和用户界面如何影响风险？人类在哪里与模型互动？
- 人类是处于流程中还是处于主导地位？
- 需要多少人工监督？何时以及如何进行公平性和偏差审查？
