动态混合课程LoRA专家以实现持续多模态指令调优

核心观点

• 问题: 现有的多模态大语言模型（MLLM）持续多模态指令微调（CMIT）方法大多采用固定架构，难以适应新任务，因为模型容量是静态的。
• 方法: 提出Dynamic Mixture of Curriculum LoRA Experts (D-MoLE)方法，在参数预算内动态演化MLLM的架构，以持续适应新任务，同时保留先前学习的知识。
• 挑战:
  • 任务架构冲突: 不同任务需要不同层级的调整，最佳参数分配位置因任务而异。
  • 模态不平衡: 不同任务对模态的依赖程度不同，导致更新不平衡。

解决方案

• 动态层级专家分配器: 利用训练无关的零成本代理（如梯度范数）自动分配LoRA专家到各层，解决架构冲突，并通过路由指令促进专家间的知识共享。
• 基于梯度的跨模态持续课程: 根据任务中每种模态的难度动态调整MLLM中每个模块的更新率，缓解模态不平衡问题。

关键数据和研究结论

• 实验结果: D-MoLE在CMIT基准测试中显著优于现有方法，平均性能提升15%，并在任务适应和知识保留方面表现最佳。
• 效率分析: D-MoLE在训练效率方面也略有提升，主要源于其选择性地将LoRA模块分配到最关键的层，减少了计算延迟。
• 消融实验: 验证了每个组件的有效性，包括文本模态更新、视觉模态更新、模态平衡机制和动态LoRA专家分配。

总结

D-MoLE通过动态架构演化，有效地解决了CMIT中的任务架构冲突和模态不平衡问题，实现了对新任务的持续适应和先前知识的保留，为MLLM的持续学习提供了一种可扩展且高效的解决方案。