书生万象大模型的技术演进与应用探索

InternVL多模态大模型研究总结

研究背景：大语言模型与多模态大模型

• 以视觉为核心的多模态大模型有望在众多领域带来AI生产力革命。
• 相关研究包括QFormer[1]和MLP[2]，以及Cogvlm[3]等。

大规模视觉语言模型对齐：InternVL

• 传统视觉/视觉-语言基础模型范式已落后于大语言模型的发展，亟需新的范式。
• InternVL的核心思想是扩大视觉基础模型并为通用视觉语言任务进行对齐。

InternVL设计

• 设计1：扩大视觉模型至6B参数

  • 基于原始ViT结构，通过搜索模型深度{32, 48, 64, 80}，注意力头维度{64, 128}，以及MLP比率{4, 8}，将视觉模型扩大至6B参数。

• 设计2：渐进式的图像-文本对齐策略

  • 阶段1：利用海量带噪声的图文数据进行对比学习预训练（~5B图像）。
  • 阶段2：利用过滤后的高质量图文数据进行对比学习和生成式联合训练（~1B图像），筛选指标包括CLIP相似度、水印概率、unsafe概率、美学指标、图片分辨率、caption长度等。
  • 阶段3：利用高质量Caption/VQA/多轮对话数据进行SFT训练（~4M图像）。

InternVL性能

• 从适配视觉感知任务到适配通用视觉语言任务，极大地扩宽了模型的适用范围。
• 在多种通用视觉语言任务上取得最佳性能，包括：
  • 视觉任务：图像/视频分类，语义分割。
  • 视觉-语言任务：图像/视频-文本检索，零样本图像分类。
  • 通用视觉问答：图像描述，视觉问答，多轮对话。
• 视觉编码器InternViT-6B仅用不到三分之一参数量，实现与ViT-22B相当的性能。
• 检索性能优于CLIP、OpenCLIP、CoCa等模型。
• 零样本图像、视频分类能力显著。

InternVL + Language Adapter：Zeroshot多语言内容生成

• 即插即用的为现有扩散模型增加多语言能力。
• 只需英文数据训练，即可泛化到其他语言，支持多种语言的混合输入，甚至emoji。
• 无需额外训练，即可兼容社区模型，如ControlNet、LCM、LoRA等。

InternVL1.5：接近商用性能的开源多模态大模型

• 增强图文多模态对话能力。
• 关键点：
  • 主体（强基础模型）：更大的视觉模型可以包含更广的视觉domain，抽取更强的视觉表征；更强的语言模型有更强的语言能力、世界知识和推理能力。
  • 动态分辨率（火箭头）：模型需要根据任务调整不同的分辨率，如文档理解需要高分辨率，常见问答任务则不需要。
  • 燃料（高质量数据集）：多语言、多来源、精细标注。

InternVL2.0：全方面提升

• 渐进式对齐训练，通过模型"从小到大"、数据"从粗到精"的渐进式训练策略，以较低成本完成大模型训练，在有限资源下展现卓越性能。
• 在MMMU、MMBench等评测上比肩GPT-4o和Gemini Pro1.5。
• 加速ScalingLaw曲线，仅需原有的1/5算力即可取得同等效果。
• 更强的OCR能力：支持毛笔字、竖排、繁体。
• 更强的图表理解能力：细节文字理解+文字深层含义。
• 结合专业知识问答。
• 图-文-动作结合回答。
• 图像细节理解+精确定位。

开源模型权重与API

• 提供开源模型权重。
• InternVL2-Pro API欢迎用于研究，需提交申请表获得免费API访问。

不止于语言输出：通专融合

• 不同任务query不能共享，感知任务8个query足够，图像生成需64个query。
• 开放检测&分割。
• 不同domain的开放检测&分割。
• 不同domain的开放姿态估计。