行业研究公司研究宏观策略财报招股书会议纪要 Token 低空经济十五五 AIGC 大模型

mPLUG：多模态对话大模型技术与应用解析

信息技术 2023-08-08 DataFunSummit2023：大模型与AIGC峰会陈宫泽凡

多模态大模型技术发展与应用解析

01 多模态大模型技术发展历程

多模态预训练背景：主要应用于下游任务，如视觉问答、视觉理解等。
发展历程：
- 2018-2019年：基于检测特征的两阶段方法。
- 2020-2021年：端到端方法。
- 2022-2023年：大一统+Scaling up的方法，以及多模态对话大模型的兴起。
- 关键数据：VQALeaderboard当前分数为86.06，mPLUG在2021年VQA Challenge中排名第一，并以81.26分的成绩首次超越人类结果。
重要文献：Vision-Language Pre-training: Basics, Recent Advances, and Future Trends。

02 多模态对话大模型技术解析

多模态对话大模型：
- GPT-4：具备视觉内容细粒度理解与推理能力，能理解富文本、图片、表格等信息。
- System Collaboration：通过视觉模型将信息转换为文本，再由ChatGPT整理回复。
- End-to-End：如MiniGPT-4、LLAVA、Kosmos-1等。
模块化多模态模型mPLUG：
- 设计理念：借鉴人脑模块化思想，针对不同模态输入、输出、特有属性及功能（理解、生成）设计不同模块，实现层次化预训练，灵活应用于Zero/Few-Shot、Continue Pretrain、Finetuning等场景。
mPLUG-Owl：
- 性能：在上海人工智能实验室OpenGVLab组织的人工标注评测多模态LLM版单中排名第一。
- 应用场景：多模态指令理解与生成。
- 训练方法：
  - 第一阶段：对齐视觉和语义，训练视觉基础模块和视觉摘要模块。
  - 第二阶段：通过单模态和多模态协同，LoRA指令微调，固定部分模块参数，仅微调LLM的adapter结构。
- 性能评测：
  - 构建了多模态指令评测集OwlEval，评分指标为ABCD打分制（A：听懂指令且回答满意；B：听懂指令但回答有误；C：听懂指令但回答错误或用户不满意；D：听不懂指令或无效回答）。
  - 关键数据：在OwlEval上，mPLUG-Owl表现最佳（A级占比最高）。
- 应用能力：
  - 知识问答、多轮对话、笑话理解。
  - 涌现能力：未见过多图和OCR数据，仍能理解多图内容。
  - 简单DocumentAI能力（OCR）。
  - 视频理解。
  - 多语言版本：支持中文视频对话模型mPULG-Video。
- 消融实验：验证了训练策略和多模态指令微调数据的有效性。
- 中文视频预训练数据集：Youku-mPULG。