预训练大模型与医疗：从算法研究到应用

预训练大模型通过在大规模无标注数据上进行预训练，学习到丰富的语言规律和知识，再通过少量特定领域标注数据进行微调，适应特定任务。Transformer架构是预训练大模型的基石，BERT和GPT是两类典型的大语言模型，分别采用双向和单向模型设计，通过掩码语言模型、下一句预测任务等进行预训练，学习上下文关系和词汇语义。

ChatGPT作为生成模型，存在可信性、成本、时效性、偏见性、专业性等问题。可以通过调整temperature和top_p参数控制输出随机性，通过知识嵌入、知识预测、少样本提示、自我一致性、提示语工程等方法提升模型精确性。大模型的可解释性可以通过基于attention机制、信息流解析、Prompt Engineering等方法实现。

在医疗领域，ChatGPT可以应用于自动印象生成和医学图像辅助诊断。ImpressionGPT使用动态提示和迭代优化增强ChatGPT对放射学报告摘要的适应性，ChatCAD将LLM的医学领域知识和逻辑推理优势与医学图像CAD模型的视觉理解能力相结合，为患者提供更加用户友好的系统。

清华大学数基生命交叉创新群体在医疗领域进行探索，提出EnhancedBERT模型，并利用知识图谱和LLaMa进行微调，提升模型精确性和可解释性。数基生命旨在通过机理模型化和生命数字化，构建数据-知识双驱动的数基生命大模型，赋能智能健康管理、智能精准医疗和智能公共健康。