行业研究公司研究宏观策略财报招股书会议纪要 Token 低空经济十五五 AIGC 大模型

中国宏观经济月报：DeepSeek的抄袭争议——蒸馏技术的使用

2025-02-11 杨曦致富证券杨框子

核心观点：DeepSeek 模型（R1 和 V3）的迅速走红引发了对其是否通过模型蒸馏技术从其他先进模型中提取知识而构建的争议，尤其是 OpenAI 指控其“抄袭”。
蒸馏技术解释：模型蒸馏是一种将大型复杂模型（教师模型）的知识迁移到小型高效模型（学生模型）中的优化方法，本质是知识迁移而非整体架构的抄袭。
DeepSeek-V3 对蒸馏技术的应用：
- DeepSeek 利用 DeepSeek-R1 系列模型生成 80 万条训练样本，用于训练 V3 模型，并提升其推理性能。
- 通过从 R1 模型中提取的推理思维链（CoT）样本，对较小的基础模型（如 Qwen 和 Llama 系列）进行微调，显著提升其性能。
- DeepSeek 证明大型模型的推理模式可以被提取并应用于小型模型中，为模型后训练优化开辟新路径。
蒸馏技术的优势与挑战：
- 优势：降低数据构建成本，快速实现成果，扩展大模型应用范围，使小型企业也能在 AI 应用和用户体验方面展现创新能力。
- 挑战：学生模型的性能受限于教师模型的固有能力上限，难以实现深层次创新，尤其在处理多模态数据时受限于教师模型的模式。
研究结论：
- 蒸馏技术是人工智能领域的重要创新，尤其在资源受限场景中具有显著优势，但并非万能，其效果受多种因素限制。
- 未来，蒸馏技术将与其他技术结合推动 AI 发展，同时大型科技公司在基座模型和前沿研究上的持续投入仍是保持行业领先的关键。
研究员声明：研究员以勤勉态度独立、客观出具报告，报酬与报告观点无关。
一般声明：报告信息来源于公开资料，内容仅供参考，不构成投资建议，投资者需谨慎决策。