执行摘要
本报告旨在探究开源大型语言模型（LLM）在研究中的应用，概述使用频率最高的组织和国家，并评估其对研究的更广泛影响。报告分析了超过250篇使用开源模型权重的研究论文，并推导出开源模型权重独有或主要支持的使用案例分类。此外，报告还回顾了超过130篇使用封闭模型的研究论文，以比较权重可及和不可及情况下的使用案例。
主要发现：
- 开源模型支持比封闭模型更多样化的使用案例。八种高级AI模型使用案例中，五种仅由模型权重可及性支持，两种主要需要权重，一种则不需要。
- 需要权重的使用案例包括：持续预训练模型以扩展其一般知识、压缩模型以提高效率、组合不同模型或同步其模态（例如文本和图像）、以及测量模型在硬件上的功能或硬件运行模型时的性能。
- 主要需要权重访问的使用案例包括：针对特定任务或领域微调模型、以及检查模型内部以解释其功能。虽然一些封闭模型API允许这些使用案例，但提供的访问权限通常非常有限，例如不允许自定义微调或对模型内部进行粒度化检查。
- 提示（Prompting）是唯一一种仅需要最小模型访问权限的使用案例，可以通过网络或编程接口进行，因此既适用于开源模型也适用于封闭模型。
研究结论：
- 开源模型使用案例使研究人员能够研究更广泛的问题，探索更多实验途径，以及实施和展示更广泛的技术，从而比仅使用封闭模型更有利于研究。
- 使用开源模型的研究人员主要为大学或公司的研究人员，其中近90%的论文由大学研究人员撰写，50%由公司研究人员撰写，约35%的论文由这些类型的组织合作撰写。
- 美国和中国是使用开源模型的主要国家，分别占论文作者的65%和38%。
研究方法：
- 报告审查了约550篇使用开源模型的研究论文，其中258篇需要以某种方式访问开源模型权重。
- 报告还审查了约200篇使用封闭模型的研究论文，其中129篇使用了GPT-4或Claude 3，所有这些论文都以某种方式提示了模型。
- 通过对论文进行标注，报告构建了开源模型和封闭模型的使用案例分类。
开源模型使用案例分类：
- 微调：将预训练模型适应特定下游任务或领域。
- 持续预训练：扩展预训练模型的一般知识。
- 检查：分析或评估模型的参数、内部过程和功能或架构。
- 压缩：减少模型的参数或精度，以减少其计算或内存占用。
- 组合：合并或混合不同模型或模型的一部分，以及同步模态（例如文本和图像）。
- 硬件基准测试：在不同类型的计算硬件上训练、运行或测试AI模型。
- 修改：对模型进行任何修改或增强，但不符合其他类别。
封闭模型使用案例分类：
- 提示：评估模型性能、能力、一致性、安全性等。
- 有限的API微调和检查：通过API对封闭模型进行有限的微调和检查。
研究局限性：
- 无法推断未发表研究组织中开源或封闭模型的使用情况。
- 论文样本可能偏向于在标题和摘要中提及模型的论文。
- 开源模型样本中美国模型过度代表。
- 使用论文引用次数作为影响或重要性的代理指标存在局限性。
- 选择模型系列的标准（性能和流行度）导致排除了未针对基准性能进行优化的模型。
- 监测创新效果存在固有的时间滞后。
- Hugging Face开源LLM排行榜已不再活跃。
