大型语言模型的知识蒸馏与数据集蒸馏：新兴趋势、挑战与未来方向

核心观点

• LLM 挑战：大型语言模型 (LLM) 虽然功能强大，但面临着计算资源需求巨大、数据效率低下以及难以保留涌现能力等挑战。
• **知识蒸馏 (KD) 与数据蒸馏 (DD) **：知识蒸馏将知识从大型教师模型转移到小型学生模型，而数据蒸馏将大型数据集压缩成小型合成数据集。两者结合可以有效解决 LLM 的挑战。
• KD 方法：包括基于推理的方法 (RBKD)、不确定性感知方法、多教师框架、动态/自适应策略以及任务特定蒸馏。理论研究表明，KD 通过软标签传递“黑暗知识”，并具有正则化效果，有助于提高学生模型的泛化能力。
• DD 方法：包括基于优化的数据蒸馏和合成数据生成。优化方法通过优化合成数据集的表示或训练动态来提高训练效率，而合成方法则直接生成人工数据。此外，数据选择方法（如数据过滤、核心集选择和数据归因）也用于提高训练效率。
• KD 与 DD 的集成：将 KD 和 DD 结合可以更有效地进行模型压缩和数据利用。例如，知识转移通过数据蒸馏方法，以及基于提示的合成数据生成方法，可以有效地将教师模型的知识转移到学生模型。
• 评估指标：评估 LLM 蒸馏技术需要考虑性能、效率、鲁棒性和知识转移效果。性能指标包括困惑度、准确率、F1 分数等，效率指标包括 FLOPs、延迟和内存使用等，鲁棒性指标包括对抗攻击成功率 (ASR) 和性能下降率 (PDR) 等。
• 应用领域：知识蒸馏技术在医疗保健、教育和生物信息学等领域具有广泛的应用，例如临床决策支持、医学摘要、患者互动、药物发现等。
• 挑战与未来方向：主要挑战包括保留涌现能力、降低蒸馏成本、提高可信度以及应对教师模型和训练数据的变化。未来研究方向包括开发更复杂的知识提取方法、设计自适应蒸馏框架、提高计算效率以及建立全面的评估协议。

研究结论

KD 和 DD 是解决 LLM 挑战的有效策略，两者结合可以显著提高模型压缩率、训练效率和资源利用率，同时保留 LLM 的关键能力。未来研究应重点关注保留涌现能力、降低蒸馏成本、提高可信度以及应对教师模型和训练数据的变化，以推动 LLM 的可持续发展。