腾讯大模型产品能力介绍以及应用探索

腾讯大模型产品能力介绍 以及应用探索 腾讯医疗健康事业部 2024.5 风口已至 2 从“量变”到“质变”，AI进入“大模型”时代 AlexNet2012 深度学习2006图神经网络2005 NLP神经网络2013 ResNet2015 AlphaGo战胜李世石2016 联邦学习2016 GPT3 GPT-4 ChatGPT 泛化性 对新数据的适应能力 模型在从未见过的数据上 能表现出良好的性能能力 达特茅斯会议·1956年8月发起，提出了“人工智能”这 BP算法1986 条件随机场2001 Transformer2017 BERT2018 AlphaFold2 通用性 一名词，汇集了一批日后AI领域最重要的学者 语义网络线路图1998 深蓝击败卡斯帕罗1995 解决多个任务的能力 XCON1980 支持向量1995 模型能应用于 不同的数据集或任务 感知机1957 达特茅斯会议1956 专家系统1968 计算机视觉1976 知识表征1974 算力瓶颈 1990 AI进入 “大模型”时代 实用性 应用时的可用性和效率 模型能以合理的时间和资源 快速处理数据并做出决策 能力国内大模型“百花齐放”，产业落地已过“尝鲜期” 产业落地实效 成大模型价值重要评估维度 图片生成聊天对话文案创作视频生成 客户服务 金融风险管理 分析决策 流程管理 决策支持政务 社会保障 广告营销 商业客服 旅行攻略 购物推荐 更多 场景 研发设计 工业生产制造 管理服务 智能调度 媒资管理 内容生产传媒 媒体传播 自动监测 文档摘要文本翻译文字识别…… 交通运行监测 模拟预测 报警诊断能源 运维管理 我国10亿参数规模以上的大模型已发布79个 …… •“百模大战”：截至23年10月底，国内已有200+大模型推出，51%的受访企业使用AIGC技术或工具用以“文本生成”场景 •2024年1-4月，大模型相关中标金额达到2023年全年中标披露金额77%——《中国大模型中标项目监测报告》 腾讯能力 5 全球领先的AI研究能力 腾讯云智能在计算机视觉、智能语音、自然语言处理、机器学习等领域已取得多项技术突破，持续推动前沿技术的产业落地。下设多个顶级人工智能实验室。腾讯优图实验室多次在人工智能国际权威比赛中创造世界纪录，腾讯云小微、AILAB等团队协同深耕AI语音及语义能力，多次在国际国内比赛中拔得头筹。共拥有5000+AI相关专利，发表顶会论文800+篇。 计算机文字 视觉识别 5000+项 AI相关专利 800+篇 语音识别语音合成 双赛道冠军 图像匹配技术CVPR2021ImageMatchingWorkshop 全球第一 神农”多语言预训练模型获得国际权威榜单XTREME总榜及全赛道全球第一 自然语言机器 处理学习 四项国际第一 国际顶级图学习榜单OGB上，获得图属性预测赛道Ogbg-molhiv、 Ogbg-molpcba等全部四项榜单第一 冠军及最佳创新奖 ICCV2021LVISChallengeWorkshop 论文入选IJCA/CVPR/ICASSP/ACL 等全球顶会/期刊 医疗AI三类证 顶尖的医疗AI技术实力，唯一具有3个医疗AI三类证的大厂 青光眼，宫颈癌，肺炎 Text2SQL榜单第一 CoSQL、Sparc数据集荣登Text2SQL榜单第一 腾讯医学大模型产品体系架构 应用场景 智能问答药械客服医患标签医学生助手医药问答文献助手医疗问答 病历报告 药械使用 生成 出院小 结任务 随访科 室建议 病人个性 化查询 医学知识问答 患者标签分类提取 医考题问答 药品说明书 论文检索院务 院内端院内系统/工作站 问答摘要问答 开箱即用的应用类型（应用中心） 原子能力中心 文档解析 腾讯医疗 知识引擎 知识问 答类 知识库问答文档问答 知识总 结类 知识摘要 标签分类 向量检索多轮改写 行业大模型 TI平台 TI-DataTruth 数据标注平台 TI-Matrix 应用平台 TI-ONE训练平台 TI平台 模型层 通用大模型：腾讯混元 TI平台：行业大模型开发应用一体化平台 适用对象：既有业务专家团队、也有技术专家团队的客户 大模型开发 新 大模型精调一键调用：20多个主流开源及自研大模型低代码部署体验 调试开发：基于notebook快速启动模型精调 标注训练调试部署调用 训练工坊 内置训练加速全新升级Angel训练框架加速能力，性能提升30% 大模型指标监控：丰富的资源指标监控及告警，覆盖网络及GPU算力 接入高性能文件存储：百GB每秒带宽大幅提升训练速度 远程调试：实时调试分布式运行任务，大幅提升建模效率 升级升级 数据中心 数据集管理 数据标注能力 内置推理加速：全新升级Angel推理加速能力，加速比可达2倍 模型部署 大模型调用：统一的大模型调用API及体验工具，大幅缩短业务接入大模型能力周期 模型管理 管理模型的存储路径、元信息 资产和资源管理 升级 资源组管理 高性能计算节点：接入HCC高性能计算节点及星脉高 将模型转换为支持推理加速的优化后模型，支持多种模型格式性能计算网络 医疗行业大模型：深度训练学习海量优质医疗数据 适用对象：有业务专家团队、没有技术专家团队的客户 RLHF 反馈强化 SFT 医疗任务微调 引入基于反馈强化的奖励机制，让模型回复更专业，同时考虑患者关怀，更像医生 •通过医生对模型结果进行打分和排序，训练奖励模型 •基于奖励模型，使用强化学习算法，优化模型 根据多种医学任务数据，对基座模型进行微调 •在预训练模型的基础上，引入下游业务进行多任务微调，提升模型落地效果 •任务：医患对话生成，导诊、预问诊、辅诊、智能问答、合理用药等 Post-Pretrain 医学文献 PretrainModel 基座模型 医学领域持续进行预训练，使模型进一步掌握医学知识 •使用大量高质量医学文献，包括腾讯医典、教科书、病历、论文等 •加入大规模医学知识图谱的内容，覆盖98%ICD中疾病的知识 预训练模型，使模型掌握底层医学知识 •训练多种规模的生成式大语言基础模型，适用于不同场景 •语言模型建模过程中，包含各种主题，类型，语言，渠道的 数据，为适配下游任务打下基础 医疗行业大模型：深度训练学习海量优质医疗数据 海量医学知识灌注：1000亿字医疗数据，3000万个问答对，36万组标注比对数据 人卫全套医学教材 医学论文 （中文，英文） 医学百科等内容药品说明书 天衍医学知识图谱（Jarvis-KG） 实体数量：285w关系数量：1250w 医学知识覆盖率：98% 腾讯医典3审3校 高质量文章 全流程病历数据 医学知识精准率：>85% 大模型知识引擎：企业级LLM 适用对象：既没有业务专家团队、也没有技术专家团队的客户 通用模型： 垂直领域知识深度+时效性不足 通用模型直接回答“骑手取得市财政给予的1元/单的跑单补贴，是否需要缴纳个人所得税”，得到的答案没有意义 模型精调： 结合企业知识训练，扩展 大模型内部知识 训练数据量级要求高， 成本高 训练周期长，时效性弱，无法有效解决知识更新和扩充问题 针对企业内部细分业务场景，无法处理访问限制和信息隔离的问题 知识库增强： 让模型结合相关片段的理解给出高时效的精准回复 连接外部知识库，易于更改和更新信息，时效性强, 保证知识来源，做到结果可追溯 敏感数据无需进入模型训练 大幅节约LLM计算成本 <<征收个人所得税若干问题的规定 .docx>> <<深圳市商务局关于实施阶段性支持商贸经济运行若干措施的政策解读 .docx>> 行业模型 大模型知识引擎：企业级LLM 基于行业大模型，专注实现知识处理和对话交互的全面升级 应用探索 13 应用探索1：医药知识问答 能力介绍: 自定义知识库检索范围 支持联网全域搜索 提供详细参考文献 及链接 模型多领域回复能 力（不限医疗医药） 应用探索1：医药知识问答 上海某三甲医院，大模型和数字人技术加持 智能院务客服7x24h为患者答疑解惑，缓解客服压力 上海市级医院“便捷就医服务”数字化转型2.0智能云客服场景试点医院 院务问答健康咨询 40000人 累计服务患者 4.20上线，高峰期1个月 80000次7000次 累计咨询次数单⽇咨询峰值 患者咨询意图分析 1.互联网医院如何挂号使用 2.周末互联网医院是否开诊 3.互联网医院是否可以用医保 4.互联网医院收费标准 应用探索2：医学文献、政策文件分析处理 以医药政策追踪与AI分析比对为例： ②大模型输出： 国家三级公立医院绩效考核操作手册（2022版）国家三级公立医院绩效考核操作手册（2023版） ①大模型输入：指标“国家组织药品集中采购中标使用比例”在2022年和2023年有什么差异？ 应用探索3：标签提取，自动生成患者画像 对多轮对话进行分析理解，抽取其中关键信息，按照画像维度进行输出支持后续智能运营 1 7 应用探索4：医患对话自动生成病历文书 上下文 医生标注 腾讯医学大模型 根据下面的问诊对话自动生成对应的诊疗报告：问诊对话历史： 主诉：咳嗽、磨牙3天。 主诉:夜间咳嗽,磨牙,大 患者：白天不咳嗽。晚上睡着了就咳嗽。磨牙。还哼哼 现病史：患儿3天前出 便干。 医生：你好，咳嗽是连声咳吗？有痰吗？有没流鼻涕，鼻塞？咳嗽有几天了?有发热过吗？ 现夜间咳嗽、磨牙，无 现病史:患儿夜间咳嗽,磨 患者：有三天,没发烧，也没痰鼻塞 发热、咳痰、流涕等症 牙,大便干,胃口好。 医生：以前有气喘吗有没什么过敏？ 状，未诊治。 辅助检查:暂缺。 患者：没有 辅助检查：暂缺。 既往史:不详。 医生：大便怎么样？干不干？胃口怎么样？ 既往史：否认过敏史。 诊断:消化不良。 患者：大便经常干'胃口很好 诊断：考虑消化不良。 建议:小儿消积止咳口服 医生：可能有点积食 建议：口服消积止咳药 液,健儿清解液,小儿消食 患者：那该总么办 物3天，若无好转需查 颗粒,益生菌。 医生：磨牙，晚上翻来覆去，大便干，吃的多，很容易积食,现在可以吃点小儿消积止咳 血常规。 口服液,如果没有这个，可以吃点健儿清解液，小儿消食颗粒,医生：益生菌也可以吃点。如果口服药物3天不见好，那么要去医院，化验血常规。因为积食很容易出现细菌感染。医生：如果有细菌感染，就要吃点消炎药说明：诊疗报告分为主诉,现病史,辅助检查,既往史,诊断,建议这六个章节。答 模型可以准确抽取对话中的信息，生成的小结与真人医生标注结果非常近似！ 注：正在与某头部医院（出院小结、随访记录等）和医疗器械厂商（ICU每日病程记录等）合作 1 8 应用探索5：患者个性化查询 多维度检索模块： 1）病人数据长度随住院时间增长，常见几万到十几万字的长度； 2）超长输入导致模型能性下降，推理速度慢，用户体验差； 3）通过LLM实现问题中的实体抽取+名称标准化，可快速检索病人数据中问题 相关的部分，有效控制输入长度。 本地知识库： 包含药物知识图谱等信息，当问题类似“病人一周内使用了哪些药物抗感染”时，基于知识图谱找到所有抗感染药物名，再根据药物名在病人数据中完成检索。 示例问题：患者近3天的抗感染药物使用 *注射用哌拉西林钠他唑巴坦钠[2.25g×8瓶]2024-01-2511:01 30ml *伏立康唑片[50mg×10s]2024-01-2521:096片 *伏立康唑片[50mg×10s]2024-01-2600:046片 *注射用哌拉西林钠他唑巴坦钠[2.25g×8瓶]2024-01-2602:03 30ml *伏立康唑片[50mg×10s]2024-01-2610:2530ml *注射用哌拉西林钠他唑巴坦钠[2.25g×8瓶]2024-01-2618:3930ml *伏立康唑片[50mg×10s]2024-01-2620:174片 *注射用哌拉西林钠他唑巴坦钠[2.25g×8瓶]2024-01-2700:25 30ml 用药问