大语言模型在计算机视觉领域的应用

背景介绍

• 计算机视觉的基本问题包括物体识别、物体分割、图像生成、视频生成和3D生成。
• LLM（大型语言模型）作为统一模型，探索生成与理解的统一。

基于LLM的图像理解

• LLM在图像理解中的应用存在局限，如缺少细节理解、幻觉等问题。
• 相关工作提出带定位能力的LLM，但现有模型仅能检测分割单个物体，且效率低。
• PixelLM模型：
  • 模型细节：使用OpenAI的CLIP模型作为图像编码器，提取多尺度图像特征，设计分割词表，包含多个token组对应不同尺度的CLIP特征。
  • 训练方法：通过LLM构造训练数据（MUSE数据集），损失函数包含物体分割损失和整体模型损失。
  • 表现：与LISA模型相比，计算量减少一半，分割精度显著提升（9.6→37.7）。
• 应用实例：PixelLM可进行像素级别的图像理解和推理，未来扩展方向包括具身智能对物理世界的理解。

基于LLM的视频生成

• 当前视频生成模型：文字描述到视频、扩散模型等方案。
• 视频生成面临的挑战：一致性、创作界面与可控性、视频表现力。
• 新的视频创作流程：
  • 交互方式：指定角色和剧本，提高对视频内容的控制。
  • 一致性：StoryDiffusion模型中的“一致性注意力”模块，保证角色和环境的一致性。
  • 表现力：StoryDiffusion模型中的“运动生成”模块，在关键画面间生成平滑过渡。
• StoryDiffusion的效果：
  • 运动表现力强，一致性好。
  • 与即梦AI故事模式等已有方法相比，效果更优。

总结展望

• LLM在图像理解与视频生成上的初步探索已取得进展。
• 未来方向：构建基于LLM的统一视觉理解生成模型，开发交互式的多模态LLM模型，实现能与物理世界交互的AI。