腾讯大模型助力就医流程新升级 医疗健康事业部 医疗产品商业化负责人李慧 07 以下仅为部分省市政策解读列举,按文件发布时间排序 广西壮族自治区人民政府办 重点政策扶持领域 整合医院业务系统和资源系统,建立医院运营管理和医疗业务的辅助决策 关键词 广西 公厅关于印发广西推动公立医院高质量发展实施方案的通知 2021年10月 支持系统,推动运营管理科学化、规范化、精细化,促进医疗服务智慧化,实现对医疗成本和质量的“双控制”。 广东 广东省人民政府办公厅关于印发广东省推动医疗器械产业高质量发展实施方案的通知 重庆 重庆市人民政府办公厅关于印发重庆市推动公立医院高质量发展实施方案的通知 福建 福建省推动公立医院高质量发展实施方案 浙江 浙江省人民政府办公厅关于发挥医保支付杠杆作用促进基层医疗卫生高质量发展的若干意见 2021年12月 2022年1月 2022年3月 2023年8月 在…人工智能医疗器械…等重点领域培育一批重大产业项目。推进大湾区医疗器械创新引领和辐射带动作用。支持企业技术改造。加强对医疗器械行业智能制造水平的研究和支持。 推动5G等信息技术与医疗服务深度融合。普遍开展智慧医疗服务。依托全市医学影像云中心…探索建设医学影像“无胶片”城市,完善配套的价格和支付政策。大力发展远程医疗和互联网诊疗…推动智能医疗设备和智能辅助诊疗系统的研发与应用。 推进“互联网+医疗健康”建设。拓展远程智慧服务和互联网诊疗,推动人工智能、5G、大数据…等新技术应用…智能导医分诊等线上服务。加快实现全省检验检查结果互认和医学影像资料共享调阅…对接国内有关大数据研发机构,研发推广AI辅助诊断、治疗技术,助推健康医疗大数据产业发展。 推动“互联网+”等服务模式向基层延伸发展,将符合条件的互联网诊疗服务纳入医保支付范围,助力构建远程会诊、预约转诊、互联网复诊等基层远程医疗服务体系,推动人工智能辅助诊断在基层医疗卫生机构配置应用。 基层医疗 远程医疗互联网医疗 智能导诊/分诊辅诊诊疗/决策/诊断 影像互认数据互通 智能设备 数据来源:根据《全国医疗卫生服务体系规划纲要(2-15-2020)》绘制,*部分机构名称略微调整2 3 有限的语义理解能力 小模型可能无法理解复杂或上下文相关的问题,导致回答不准确或不完整。它可能会在 处理复杂的语义结构或多重问题时出现困难。 新领域问题的适应性差 小模型可能对于新领域或新问题的适应性较差。如果它没有在相关领域进行充分的训练,它可能无法提供准确的答案或适当的建议。 缺乏解释性 由于小模型通常是基于大规模预训练模型进行精简而来,其内部结构和参数可能较为复 杂,难以直接解释其决策过程。 4 •医生参与标注、打分反馈,强化学习 •高分模型奖励,持续学习提升 RLHF 反馈强化 36w+组数据 •患者场景数据:问诊、问答、导诊 •医生场景数据:医学考试、检查建议、诊断数据、用药建议 •医药场景数据:临床实验、科研课题 SFT 医疗任务微调 3000w+问答对 引入基于反馈强化的奖励机制,让模型回复更专业,同时考虑患者关怀,更像医生 •通过医生对模型结果进行打分和排序,训练奖励模型 •基于奖励模型,使用强化学习算法,优化模型 根据多种医学任务数据,对基座模型进行微调 •在预训练模型的基础上,引入下游业务进行多任务微调,提升模型落地效 果 •任务:医患对话生成,导诊、预问诊、辅诊、智能问答、合理用药等 •结构化:天衍医学知识图谱 •非结构化:医典、医学教材、论文、药品说明书、病历数据 Post-Pretrain 医学文献 1000亿+Tokens、285w+实体、 1250w+关系 •超千亿参数规模 •2万亿+Tokens •基本医学知识 PretrainModel 基座模型 腾讯混元大模型 医学领域持续进行预训练,使模型进一步掌握医学知识 •使用大量高质量医学文献,包括腾医典、教科书、病历、论文等 •加入大规模医学知识图谱的内容,覆盖98%ICD中疾病的知识 预训练模型,使模型掌握底层医学知识 •训练多种规模的生成式大语言基础模型,适用不同场景 •语言模型建模过程中,包含各种主题,类型,语言,渠道的数据,为适配下游任务打下基础 5 组学 组学平台 大模型 药店/流通 2G2H 医疗科技/医疗服务 三级医院&二级医院 基因/生命科学 体检中心&私立机构 基层医疗机构 零售药店 智慧医院解决方案 智慧基层医疗解决方案 医联体解决方案 智慧零售药店解决方案 体检中心解决方案 药械 药企/器械 药械赛道解决方案 基因组学解决方案 医疗客群 解决方案 智慧医药营销 医疗NLP 觅影 体检助手 AI助力医院体检前智能问答、检前推荐加项 医典 广覆盖、高品质医学内容 药箱 微信扫码精准患者触达,提供全链路患者服务,提升患者粘性 NGOS 帮助药械企业提升内部运营管理效率和合规性,包含IC,MD,TQ等功能 NGES 为药械企业提供智能、高效的管理工具,包含CRM,Events,MCM等功能 医疗术语标准化(药品、诊断标准化) 高精确性算法,缩短医学数据治理 合理用药/用药助手 辅助临床用药合理性建议,如计量、用法、配伍禁忌等 智能导诊/预问诊 AI助力医院就诊(预约挂号、流程答疑解惑、诊前信息收集) AI临床助手 辅诊医生诊疗、用药建议 患者随访 全流程患者管理和数据收集 家医助手 AI助力个性化健康管理 青光眼AI 辅助筛查眼底疾病筛查 影像云 数字医疗影像云端管理和应用 结直肠AI 辅助结肠息肉早发现 AI应用产品 智能问答场景大模型医学辅助诊断健康管理场景大模型 影像AI 文案生成场景大模型 AIforGenomics 医疗大模型能力 6 智慧医院 助力智慧医院降本增效、精细化管理 识别/标准化:体检指标标准化 体检报告OCR 医学实体识别 预测/推荐: 解读/评估: 疾病风险评估 异常指标智能解读 个性化体检推荐 体检健康小结 体检疾病预测 人群分层标签 检验检查字典库 指标解读库 体检套餐字典库 指标字典库体检诊断库 异常解读库 健康建议库 诊断预测规则库 关联关系库 随访计划库 检前-加项创收检中-降本提效检后-精准召回 提升效率 个性化体检推荐智能总检全周期管理 应用层 引擎层 数据层 8 南宁市第一人民医院深圳市龙华区人民医院 AI自动评估患者的疾病风险推荐加项包体检智能问答助手,辅助推荐体检套餐 40%+ 71.43% +28.10%1.1w 95+% +140% AI加项使用率 AI加项购买率订单金额提升 月咨询量 准确率订单金额提升 9 检中-智能总检检后-报告解读&全周期管理 总检系统示意图报告解读示意图 检后全周期管理 提升2.5倍+ 出报告效率 ↓60%300-400人 主检时间服务日均体检人数 南宁市一试点中,提供h5能力,被集成到医院小程序 •检后人群智能随访管理方案升级,从血糖管理切入,与中华医学会合作推广中 •打造体检版方案,针对体检疾病建立 10+管理计划 10 上海瑞金医院 中标医疗大模型项目,患者服务重点打造大模型智能问答 49w+人 62w+次 2000次 上海市级医院“便捷就医服务”数字化转型2.0智能云客服场景试点医院 累计服务患者 累计咨询次数单日咨询峰值 传统版本召回效果较差 1/大模型版本,智能学习相似问题并回复 2/大模型学习文件知识并回复推荐 3/疾病百科问答 PK Q:预约违约后如何处理? A:若事先未按规定取 消预约,一律视作违约,12个月内爽约累积2次者将被列入违约名单,列入违约名单后6个月内将暂停预约资格,但不影响直接挂号。 Q:请问进了预约 违约名单了怎么办? A:请至门诊大厅-患者服务中心6号窗口处理。 医疗大模型赋能升级 降低医院/平台知识库 构建成本 智能解答疾病、药品相 关的问题 打通医院知识库,更智能回答和多 轮对话 11 华中科技大学协和医院 大模型导诊升级服务体验,高效问诊,精准导诊累计服务患者超60w日均导诊量约1000次 智能识别意图 智能语义理解,判断主 诉是否为医疗问诊意图 智能防骚扰 智能识别骚扰、调戏意图,过滤骚扰信息 智能追问 智能挖掘主诉相关症状, 引导患者补充症状信息 识别疾病缓急 智能理解主诉,判断病情缓急,分诊至不同级别医生。 智能推荐医生 智能理解医生介绍信息,提取医生擅长疾病,推荐就诊医生 精准推荐科室 基于AI导诊模型、AI意图识别模型、AI病情分级模型,精准匹配科室 医疗大模型赋能升级 大模型给出导诊理由与解释,对患者更友好 通过大模型进一步加强导诊准确性 对接医生介绍与擅长 推荐诊疗方向的医生 12 深圳市人民医院 患者有更多的问诊时间,帮助医生提供更精准的诊断和治疗方案深度问诊诉求强,对问诊专业性、适配性要求高 2600+份预问诊知识库100+科室覆盖 日均报告数量1500+患者满意度提升28% 拟人化收集患者病情 患者信息自动处理|文本、语音、点选、滑轮等快捷输入 专业词汇图文解释|科室、症状、性别冲突识别 患者口语化描述智能识别|OCR检验检查报告智能识别 个性化科普宣教推送|用户实时反馈 大模型患者端预问诊demo患者端 医生端 智能化生成规范报告 实时查收预问诊报告|诊前报告一键引用至EMR 诊前报告切换展示|历史诊前报告搜索|检验单查阅 查看完整对话|用户反馈 管理端 协助医院数字化运营管理 实时查看预问诊使用情况(次数、人数、科室分布、年龄等) 查看预问诊报告明细(初诊/复诊、问答记录等) 预问诊问卷管理(问卷增/删/改/查、科室推荐自定义设置) 报表实时导出 医疗大模型赋能升级 无须预设问卷模板,依据诊疗思维自生成问诊问题 上下文理解能力更强, 更真实的医患对话 弥补医院知识库有限的问题,能够 智能理解患者意图并做相应的回复 13 利用大模型根据医患对话生成病历小结 应用场景: 在线问诊 试点医院: 头部私立医疗机构 专业医生评分8.3/10分 输🎧:根据问诊问卷及患者回答生成患者基本情况主诉:有痰鸣音两天 现病史:患儿两天前咳嗽服药好转后,�现痰鸣音, 口服小儿咳喘灵,阿莫西林颗粒治疗,症状改善不明显辅助检查:听诊 既往史:暂无 诊断:小儿支气管炎 建议:完善胸片,对症治疗 •【自述】宝宝九个月了,嗓子有痰咳不🎧,很少咳嗽,怎么办 【对话】… 医生:有没有发热 患者:没有 … 医生:用过什么药物 患者:给喝过小儿咳喘灵,阿莫西林颗粒 输入:依据病人自述和医患对话,输�具有规定格式的医疗报告。 自动解析医患上下文对话 集信息抽取、归纳、生成于一体符合病历书写规范 14 华中科技大学协和深圳医院 3000+疾病推演能力百万医学知识积累 药品品类覆盖100%结构化识别准确率超97% 深度问诊 疾病诊断病历质控 参考病历 合理用药 15 广西一附院 对话式机器人,采用文本智能生成技术,多维度解答常见用药问题 患者离院后,提供处方信息电子化查看、用法用量口语化解读、相关注意事项及服药提醒 解析患者的处方信息,智能生成用药计划按计划提醒用药 用药提醒 处方解析 疾病用药问题 某病某症状可以用哪些药 药品使用问题 适用范围、用法用量、人群禁忌 智能问药 16 复旦大学附属肿瘤医院 上传数据查看数据 C端用户 小程序 查看内容/接受服务 管理平台 数据&连接 设置计划/下发内容 B端机构 网页端 智能解答患者问题 17 公共卫生/健康管理 助力家医提高签约率、履约率 家庭多成员管理 在线签约 在线咨询 居民流量入口,7*24在线咨询服务,发掘居民签约需求 深圳某区社区卫生中心 家庭档案,关爱老幼孕 微信-企微-信息系统,数据打通 一个微信管理一家人 连接医生和家庭关键人 多方系统数据打通,获取全面丰富的患者标签及信息 一个微信联动家庭3-8口人的特征标签 医生AI助手 医疗大模型助力个性化医患沟通 患者特征标签