行业研究公司研究宏观策略财报招股书会议纪要 Token 低空经济十五五 AIGC 大模型

自动化证据综合：用于数据提取的大型语言模型的比较评估（英）

机械设备 2026-05-01 亚开行董亚琴

该研究评估了大型语言模型（LLMs）在从全文科学文献中自动提取结构化元数据方面的能力，旨在加速系统综述和荟萃分析（SRMAs）。研究比较了包括Gemini 2.5 Pro、GPT-5和Sonnet 4.0在内的多个领先模型的性能，涵盖移动健康和教育两个领域。结果表明，LLMs在定性元数据和结果识别方面表现出色，其中Gemini 2.5 Pro表现最佳。然而，在提取定量元数据（如均值、标准差和置信区间）方面仍面临重大挑战，模型难以解释复杂表格数据并进行必要的计算。研究还发现，人类标注员应用了未被编码手册记载的隐含筛选标准，导致基准测试结果存在偏差。研究强调，尽管LLMs可以加快编码过程，但要实现可靠的自动化需要高度规范的编码手册，以确保严格指导模型行为并进行公平的基准测试。最终结论是，LLMs是扩大SRMA能力的强大工具，但在定量数据提取方面仍需人类审核。

点击免费查看完整报告

自动化证据综合：用于数据提取的大型语言模型的比较评估（英）

你可能感兴趣

开源视角下看大规模语言模型研发中的数据工程、自动化评估及与知识图谱的结合

BloombergGPT：一个用于金融的大型语言模型

预算有限情况下的大型语言模型：用于高效分类大型文本语料库的主动知识蒸馏

大型语言模型的自动化越狱

用于能源系统研究的大型语言模型

全面召回？大型语言模型的宏观经济知识评价（英）

全面召回？评估大型语言模型的宏观经济知识

评估大型语言模型接管灾难的风险

评估并缓解大型语言模型中的状态焦虑

大型语言模型的知识蒸馏与数据集蒸馏：新兴趋势、挑战与未来方向