用 Longtermism 扩展开源语言模型

DeepSeek LLM 项目致力于推进开源语言模型的发展，该项目深入研究了扩展法则，并基于此构建了 DeepSeek LLM 系列，包括 7B 和 67B 两个配置。研究发现，预训练数据的质量对扩展法则有显著影响，高质量数据应更多地分配计算预算用于模型扩展。项目团队基于此构建了包含 2 万亿个令牌的预训练数据集，并开发了新的模型规模表示方法——非嵌入 FLOP/令牌，以更准确地预测模型性能。

DeepSeek LLM 7B 和 67B 在多种基准测试中超越了 LLaMA-2 7B 和 70B，尤其在代码、数学和推理领域表现突出。经过监督微调（SFT）和直接偏好优化（DPO）后，DeepSeek LLM 67B Chat 在中文和英文开放式评估中均优于 GPT-3.5，展现出强大的多轮对话能力。

项目团队在数据集构建方面进行了多阶段优化，包括去重、过滤和重新混编，以提高数据质量和多样性。安全性评估结果显示，DeepSeek LLM 67B Chat 在多种安全测试类别中表现良好，能够提供无害的回答。

未来，DeepSeek LLM 项目将继续探索代码智能和 MoE 技术，并构建更大、更高质量的数据集，以进一步提升模型在推理、中文知识、数学能力和代码能力方面的表现。