计算机行业：多模态大语言模型领域进展分享

背景介绍

• 大语言模型（LLM）在处理多模态输入方面存在限制，无法有效处理图像、视频等非文本信息。
• 多模态大语言模型（MLLM）应运而生，能够处理多模态输入，并执行更复杂的复合型任务，如图像描述、视觉问答等。

多模态大语言模型介绍

• MLLM的基本架构包含视觉编码器、连接器和大语言模型。
• 视觉编码器常用基于CLIP预训练的ViT模型，将图像转换为token序列。
• 连接器通过MLP结构或Q-Former对视觉token进行投影或压缩，提高运算效率。
• MLLM的训练分为模态对齐训练和指令微调训练两个阶段。
• 评测方法包括常规任务Benchmark（如VQA）和专门Benchmark，关注模型在感知和推理等能力上的表现。

多模态大语言模型演进

• MLLM在分辨率、输入形式和输出模态等方面不断演进。
• 提高视觉编码器分辨率的方法包括直接微调和图像分块处理。
• 输入形式从单图扩展到多图和视频，输出模态从文本扩展到图片、音频和视频。
• 未来将探索统一的多模态模型，通过扩充语言模型词表支持多模态token预测。

团队相关工作介绍

• 幻觉缓解：利用视觉基础模型（如目标检测、VQA）提取可靠视觉信息，辅助大语言模型修正描述中的幻觉。
  • 实验结果表明，该方法显著减少了幻觉，提升了感知能力。
• 长视频理解测评：提出Video-MME基准，评估多模态大模型在长视频全局内容理解上的能力。
  • 实验发现，实体感知问题仍是多模态大模型的共同瓶颈。
• 多模态交互体验提升：开发VITA方案，支持实时对话交互，提升用户体验。
  • 核心设计包括屏蔽背景噪音和双工机制，实现快速响应新请求。

未来展望

• 未来MLLM需要支持更长的上下文和有效的视觉token压缩。
• 探索多模态Agent，实现自动完成操作等智能任务。
• 轻量化部署，统一训练范式和推理流程。
• 直接生成图文交错的内容，提升内容表现力。