开放世界理解

背景与需求

• 人工智能AGI的发展需要具备视觉能力，因为人类智能高度依赖于视觉感知。
• ChatGPT的发布标志着自然语言处理技术进入新阶段，其多模态能力（如GPT-4V、GPT-4O）为AGI研究提供启示。
• 视觉-语言跨模态学习（VLP/VLM）是CV多模态研究的关键，代表性工作如OpenAI的CLIP和360的R2D2模型。

多模态大模型（LMM）发展历程

• 第一代LMM（22年底-23年6月）：以BLIP-2、LLaVA等为代表，聚焦模态对齐验证，支持低分辨率图像。
• 第二代LMM（23年6月-11月）：开始增加目标定位能力，如BLIP-2、InternVL2等，但分辨率受限（336-448）。
• 第三代LMM（23年11月至今）：解决分辨率和语言能力退化问题，支持高分辨率图像（如LLaVA1.6、360VL）。

关键技术挑战与解决方案

• 高分辨率输入支持：通过图像切块和语言模型输入窗口扩展（4K/8K）解决。
• 图文模态竞争：Option I保持LLM能力但训练难度高；Option II放弃文本能力以提升视觉表现。
• 多模态Scaling Law：缝合路线存在data-performance scaling障碍，解决方案包括：
  • 方案一：优化视觉编码器和缝合层（如Yi-VL）。
  • 方案二：多模态训练中加入纯文本数据（如MM1）。

360多模态大模型探索

• SEEChat：基于单模态专家缝合方案，严格超集LLM能力，支持Dialogue+Captioning+OVD。
• 360VL：开源模型（8B/70B），MMMU排名第一，具备图像描述、开放世界目标检测等能力。
• 业务落地：
  • 智能硬件（儿童手表）、图像标签化、视频监控自动化巡检。
  • 视觉云SaaS平台服务超5万家企业。

未来展望

• 多模态LMM将成为NLP和CV深度融合的主流，覆盖非专业领域需求。
• 360VL的开放世界理解能力将影响办公自动化、机器人具身智能等领域。