大型语言模型中的专家混合

核心观点

本研报探讨了基于混合专家（MoE）的大型语言模型（LLM）的内部工作机制，通过分析模型参数和模型行为两个关键视角，揭示了不同专家之间共性和差异性的特征与行为。

关键数据和研究结论

• 专家行为：研究发现MoE模型中的专家表现出类似细粒度专家的行为，即每个专家专注于特定方面的知识。
• 路由机制：MoE的路由机制通常会选择输出范数较大的专家，这表明范数可能作为路由决策的关键因素。
• 专家多样性：随着层深度的增加，专家多样性增加，但最后一层是个例外，这可能与模型结构设计有关。
• 门嵌入：研究发现门嵌入向量与专家神经元部分存在相似性，这表明门控机制可能在学习相似的知识以执行类似的任务。
• 专家激活：研究发现专家的激活值随着层深度的增加而增大，这表明模型在处理输入时逐渐依赖于专家的知识。

建议

• 路由设计：建议使用范数作为路由机制，因为研究发现输出范数较大的专家更有可能被选中。
• 专家分配：建议在深层增加专家数量而在最后一层减少专家数量，以促进专家多样性和模型性能。
• 模型架构：建议进一步研究专家的内部状态和激活模式，以更好地理解MoE模型的工作原理。

研究意义

本研报为MoE框架和其他模块化架构的研究提供了有价值的见解，并为未来的研究指明了方向。通过深入理解MoE模型的工作机制，研究人员可以设计更有效的MoE模型，并在自然语言处理领域取得更大的突破。