人工智能大模型赋能医疗健康产业白皮书

人工智能医疗器械创新合作平台 CAICT中国信通院 人工智能大模型赋能医疗健康产业白皮书 (2023年) 中国信息通信研究院云计算与大数据研究所 2023年10月 牵头单位 编制说明 人工智能医疗器械创新合作平台智能化医疗器械产业发展研究工作组、中国信息通信研究院云计算与大数据研究所 参编单位 北京邮电大学、北京大学、中国科学技术大学、北京大学第三医院、首都医科大学附属北京友谊医院、解放军总医院第六医学中心、温州医科大学附属眼视光医院、江苏省中医院、温州眼视光国际创新中心、国家药监局智能化医疗器械研究与评价重点实验室、网络与交换技术全国重点实验室，互联网医疗健康产业联盟、同里云计算有限公司、腾讯医疗健康（深圳）有限公司、北京百度网讯科技有限公司，商汤科技，OPPO广东移动通信有眼公司 编写顾问 翟佳、宋纯理、王振常、刘广东、王光宇 编写专家 高越、李曼、闵栋、程祎雯、逢淑宁、仇尚航、周少华、刘晓鸿吕略晗、李小虎、张康、徐良德、王宏、杜宁娜、李昀、周班鲸、冯天宜、武雅文、张小淘、范佳莹、王皓、许呙荔、郑冶枫、黄超、张莹莹、昊贤、彭思翔、徐水太、贺庆、杨青、俊、李媛、徐捷、边成 版权声明 本白皮书版权属于人工智能医疗器械创新合作平台和中国信息通信研究院，并受法律保护。转载、摘编或利用其它方式使用本白皮书文字或者观点的，应注明“来源：人工智能医疗器械创新合作平合和中国信息通信研究院”。违反上述声明者，编者将追究其相关法律责任。 前言 随着全球新一轮科技革命和产业变革深入发展，以人工智能 （ArtificialIntelligence,Al）为代表的数学技术加速演进，成为经济增 长的核心驱动力。近年来，人工智能大规模预训练模型（以下简称“大模型”）在知识，数据、算法和算力等关键要素的共同推动下，呈现爆发式增长，从首然语言处理逐步扩展、迁移到计算机视觉、多模态，科学计算等领域，增强了人工智能的泛化性、通用性，开启了人工智能发展新范式。人工智能大模型有望成为未来新型基础设施，旗能干行百业新一轮增长，落地应用和价值实现成为大模型下一步发展方向。生命科学和医疗健康是大模型等AI技术最重要的应用领域之一，大 模型可赋能生命科学研究和薪药研发：促进医疗器械创新，提升医疗 智能化水平。将大模型应用于医疗健康领域，推动医疗健康行业数学化转型升级，对满足人民群众健康需求和实现经济社会绿色、智能、可持续发展具有重要意义。 本白皮书集中梳理了国内外医疗健康大模型的最新态势及发展 成果，光其是技术体系、应用场景、风险挑战、评价和监管等方面的内容。白皮书首先迷了医疗健康大模型的概念内涵、发展优势、生态架构；对医疗健康大模型技术体系和演进趋势进行了分析：并对医 疗健康大模型应用现状及优秀应用案例进行了系统性梳理。在此基础上，白皮书分析了医疗健康大模型面临的技术、应用、数据、伦理挑战，并结合医疗健康大模型标准、验证评价和监管治理情况，提出了 进一步促进医疗健康大模型发展的相关建议。 百皮书旨在为我国生命科学与医疗健康大模型技术和产业发展 提供参考和引导，共同推动技术研发创新，促进行业高质量发展。由于生命科学与医疗健康大模型仍处于快速发展阶段，我们的认识还有待持续深化，白皮书仍有不足之处，欢迎大家批评指正。下一步，我们将泛采纳各方面的建议，进一步深入相关研究，适时发布新版报告。我们诚邀各界专家学者参与我们的研究工作，积极献言献策，为促进生命科学与医疗健康大模型发展作出贡献。如您有意愿，请联系 我f们：gaoyuel@caict.ac.cn 目录 、医疗健康大模型发展概述 （一）医疗健康大模型的概念和优势 （二）医疗健康大模型的生态架构， 11 二、医疗健康大模型的技术体系及演进 14 （一）大模型响应生物大数据时代的数据特征和应用需求.14 （二）多类型基础模型为医疗健康大模型提供坚实源动力.19（三）四种范式助力大模型在医疗健康垂直领域的应用实践.28（四）模型发展呈现家族化、多模态、融合化、协同化趋势.35 三、医疗健康大模型的应用场景 39 （一）整体发展分析 40 （二）具体场景分析 46 四、医疗健康大模型面临的风险与挑战 .68 （一）技术风险：精度不够，尚不能完全满足医疗场景安全性可 靠性需求 .68 （二）落地挑战：数据、成本、权责问题制约大模型在医疗领域 落地应用， .70 （三）数据安全和隐私：个人数据滥用、隐私泄露和网络攻击风 险突出 72 （四）伦理道德问题：大模型加剧医疗偏见和有害、虚假信息传 播问题 7.3 .78 80 五、医疗健康大模型的评价验证和监管治理74 （一）标准和指南：基础信息安全标准开始起步，领域平台规范 指南需求迫切74 （二）评价和验证：针对新能力、新特性、真实表现的动态评估方法有待建立.76 （三）政策和监管：促发展与防风险并重，莫定医疗大模型监管 治理良好基础. 六、医疗健康大模型发展建议 图目录 图1人工智能大模型+医疗健康生态架构 图2人工智能发展历程 图3医疗健康大模型的类别和实例 ..12 ..16 ..20 图4LLaVA-Med的预训练和微调流程23 图5Med-PaLMM所用基准数据集的模态和任务，.28 图6生命科学与医疗领域开发与应用大模型的四种范式.29 图7GatorTron模型的预训练和微调过程.30 图8BioBERT的预训练和微调过程，32 图9ChatDoctor模型的构建过程.34 图10Med-PaLM2采用多种路径提升推理能力.35 图11ClinicalGPT的训练及对齐流程.41 图12商量大医模型工作原理和应用场景.43 图13灵医大模型输入“医-患-药”医疗健康数据和医学知识.45 图14灵医大模型的商业化服务模式.46 图15EyeGPT根据需求输出研究题目的文章大纳50 图16未来EyeGPT在眼健康智能诊断一体化应用示范.50 图17腾讯医疗大模型多轮问询和智能问诊示意图.59 图18神经源性膀胱慢病管理数字疗法平台示意图，.63 图19运动健康助手应用架构和界面65 一、医疗健康大模型发展概述 （一）医疗健康大模型的概念和优势 人工智能大模型（AI大模型）是“大数据+大算力+强算法”结合 通用性，泛化性，带来人工智能研发新范式，成为迈向通用人工智能 （ArtificialGeneralIntelligence，AGI）的重要技术路径，AI大模型基 于海量无标注数据进行预训练，提升模型前期学习的广度、深度和知识水平，从而能够低成本、高适应性地斌能大模型在后续下游任务中的应用。当模型参数规模足够大时，AI大模型出现“智能涌现 （IntelligenceEmerging）"，例如“少样本”或“零样本”等能力"。因 此，基于AI大模型进行下游应用开发时，对预训练好的大模型进行 训练）或使用提示词工程，即可高水平地完成多个应用场景的任务，实现通用的智能能力。AI大模型是实现多种人工智能应用的通用载 医疗健康大模型是面向复杂，开放医疗健康场景的基础大模型，具有大数据，大算力，大参数等关键要素，呈现涌现能力和良好的泛化性、通用性，可以根据不同的医疗健康任务，利用语言、视觉，语 健康领域提供高效、准确、个性化的服务和支持。 大模型技术的突破，为医疗人工智能的发展注入新动力。相比 9:H8 传统的执行特定任务的医疗AI模型，大模型具有如下优势和潜力。一是大模型可应用于多个下游任务。现有医疗人工智能模型主要 采用针对特定任务的模型开发方法，在标记数据上进行训练，用于单 任务学习。在美国食品和药品管理局（FDA）批准的521款临床医疗 人工智能模型产品中，大多数仅获得了1或2个任务的批准。大模 型具有较强的泛化能力和上下文学习能力，可以灵活、直接地应用于 通院 多个医疗任务，而无需特定任务的训练和标注数据2.3 二是大模型突破数据标注的困境。开发传统有监督的医疗人工智能模型时，需要大规模的标注数据才能形成运行良好的模型。大规模、高质量的标注数据集需要医疗领域专家的参与，成本高、时间长。大模型利用自监督学习或强化学习方式，在无标注数据上进行预训练，在一定程度上减轻了标注负担和创建大规模标注数据集的工作量，也更加适配生物医学、临床和健康相关各类数据爆炸式增长的时代4. 在一些可用数据较少的临床场景，大模型可带来显著的人工智能效果 三是大模型更加用户友好和易于使用。大模型具有接受人美的自然语言（汉语、英语等）作为输入的能力，这使得外行和医疗专业人员都能够方使地访问大模型，也使得复杂的医疗信息更易于访问和理解。大模型还提供通过自定义查询与模型行交互的能力2。在当前实践中，AI模型通常处理单一任务，并产生预先确定的输出（例如，当前模型可能会检测某种特定疾病，输入一种图像，并始终输出该疾 病的可能性）。相比之下，大型语言模型具有强大的生成能力，能够以自然语言的方式进行自定义查询，而不是传统检索式的查询方式，允许用户提出更加多样、更加口语化和更加自然的问题，诸如“这张头部MRI扫描图中的肿块更可能是肿瘤还是脓肿？”之类的问题。 四是大模型有望支持更加灵活的多种数据模态组合运用。一些产格的多模态模型通常将预定义的模态集合作为输入和输出（例如，必须始终同时输入图像、文本和实验室结果）。相比之下，大模型具有更灵活的多模态交互方式，有望使用各种数据模态接受输入和产生输出（例如，可以接受文本、图像、实验室结果或任何组合），支持用户 五是大模型具有更深入理解医学知识的潜力。与临床医生不同，医学AI模型在接受特定任务训练之前通常缺乏医学领域知识，必须 仅依赖于输入数据特征与预测目标之间的统计关联，来推导数据关系，当针对特定医学任务的数据很少时，模型表现不佳。而大模型具有更复杂的网络结构和更多参数，通过结合知识图谱结构、检索式方法等技术，可以学习大量医学知识，更深入，更全面地理解医学概念和它们之间的关系，检索上下文中类似案例。这使得大模型能够推理出以前未见过的任务，并使用医学准确的语言解释相关的输出2。 （二）医疗健康大模型的生态架构 人工智能大模型赋能生命科学与医疗领域发展的生态架构主要 11:8 的敏感性和医疗场景的严肃性，监管治理和安全能力对医疗健康大模型的负责任创新发展至关重要，贯穿于行业发展各领域和全过程 今人统服管理 服务 网 募达新发 算力基础设》 &/ APER 图1人工智能大模型+医疗健康生态架构 基础层提供算力和数据支撑资源。基础层是支撑AI大模型研发和应用落地的必要资源，包括算力基础设施和数据基础设施。其中，算力基础设施包括通用计算芯片、AI计算加速芯片、计算服务器、存 储服务器，通信网络，云服务，容器/虚拟化等；数据基础设施涉及数 据采集和标注、生物信息学数据库、专病数据库、多模态医疗数据库 CA 资源等。 模型层形成大模型研发、管理和运维体系。模型研发是在算法研发所需的编程环境（语言）算法框架、开发平台和工具等基础上，研发产出大型语言模型视觉大模型、图学习大模型、语言条件多智体大模型、多模态大模型以及生物计算大模型等，完成生物医学自然语言处理、生物医学图像识别、生物医学语音语义识别、生物分子设计 等任务。模型管理和运维主要包括系统管理、接口管理、数据处理等： 12:89 应用层实现药、械、医、健多场景触达用户。大模型首先赋能生 命科学和药械研发，相关应用起步早、发展快、成果较为突出。同时，大模型在医学影像、医疗问答和智能问诊、辅助诊疗和临床决策支持、医学信息提取和生成、行政流程优化、个人健康管理、医保商保、医学教育等方面的应用价值日益凸显，场景探索加速。大模型技术有望 为生命科学与医疗行业多个环节带来更加精确高效，人性化的服务， CAICT中国信通院 提升整个生态系统的质量和效率。 X CAICT中国信通院 13:89 二、医疗健康大模型的技术体系及演进 （一）大模型响应生物大数据时代的数据特征和应用 需求 1.大模型特点突出，赋能通用医疗人工智能发展 大模型具有大参数、大数据、范式