行业研究公司研究宏观策略财报招股书会议纪要稳定币低空经济 DeepSeek AIGC 智能驾驶大模型

mPLUG：多模态对话大模型技术与应用解析

信息技术2023-08-07DataFunSummit2023：大模型与AIGC峰会陈***

AI智能总结

多模态大模型技术发展与应用解析

01 多模态大模型技术发展历程

多模态预训练背景：主要应用于下游任务，如视觉问答、视觉理解等。
发展历程：
- 2018-2019年：基于检测特征的两阶段方法。
- 2020-2021年：端到端方法。
- 2022-2023年：大一统+Scaling up的方法，以及多模态对话大模型的兴起。
- 关键数据：VQALeaderboard当前分数为86.06，mPLUG在2021年VQA Challenge中排名第一，并以81.26分的成绩首次超越人类结果。
重要文献：Vision-Language Pre-training: Basics, Recent Advances, and Future Trends。

02 多模态对话大模型技术解析

多模态对话大模型：
- GPT-4：具备视觉内容细粒度理解与推理能力，能理解富文本、图片、表格等信息。
- System Collaboration：通过视觉模型将信息转换为文本，再由ChatGPT整理回复。
- End-to-End：如MiniGPT-4、LLAVA、Kosmos-1等。
模块化多模态模型mPLUG：
- 设计理念：借鉴人脑模块化思想，针对不同模态输入、输出、特有属性及功能（理解、生成）设计不同模块，实现层次化预训练，灵活应用于Zero/Few-Shot、Continue Pretrain、Finetuning等场景。
mPLUG-Owl：
- 性能：在上海人工智能实验室OpenGVLab组织的人工标注评测多模态LLM版单中排名第一。
- 应用场景：多模态指令理解与生成。
- 训练方法：
  - 第一阶段：对齐视觉和语义，训练视觉基础模块和视觉摘要模块。
  - 第二阶段：通过单模态和多模态协同，LoRA指令微调，固定部分模块参数，仅微调LLM的adapter结构。
- 性能评测：
  - 构建了多模态指令评测集OwlEval，评分指标为ABCD打分制（A：听懂指令且回答满意；B：听懂指令但回答有误；C：听懂指令但回答错误或用户不满意；D：听不懂指令或无效回答）。
  - 关键数据：在OwlEval上，mPLUG-Owl表现最佳（A级占比最高）。
- 应用能力：
  - 知识问答、多轮对话、笑话理解。
  - 涌现能力：未见过多图和OCR数据，仍能理解多图内容。
  - 简单DocumentAI能力（OCR）。
  - 视频理解。
  - 多语言版本：支持中文视频对话模型mPULG-Video。
- 消融实验：验证了训练策略和多模态指令微调数据的有效性。
- 中文视频预训练数据集：Youku-mPULG。

03 ModelScope实战分享

mPLUG-Owl。

创空间体验：mPLUG-Owl创空间。
Github资源：
- Hugging Face：mPLUG-Owl。
- GitHub：mPLUG-Owl。

04 mPLUG项目主页

项目主页：提供更多详细信息。
ModelScope创空间体验：英文版本，搜索“mPLUG-Owl”。
X-PLUG讨论群：获取更多交流资源。

徐海洋阿里巴巴-达摩院-算法专家 DataFunSummit#2023 目录CONTENT 01多模态大模型技术发展历程 03ModelScope实战分享 02多模态对话大模型mPLUG技术与应用解析 04mPLUG项目主页多模态大模型技术发展历程 DataFunSummit#2023 多模态预训练背景-下游任务多模态预训练-发展历程 •多模态预训练发展历程：18,19年基于检测特征的两阶段方法；20，21年端到端方法，22年-23年大一统+Scalingup的方法；最近几个月，🔥🔥多模态对话大模型🔥🔥； •VQALeaderboard:多模态最重要的榜单，现在已达到86.06，mPLUGCVPR2021VQAChallenge排名第一，并以81.26分的成绩首次超越人类结果；Vision-Language Pre-training: Basics, Recent Advances, and Future Trends. 多模态预训练-发展历程多模态对话大模型-GPT4 视觉内容细粒度理解与推理多模态对话大模型-GPT4 视觉内容富文本图片表格理解与推理多模态对话大模型-GPT4 视觉内容富文本图片表格理解与推理多模态对话大模型-SystemCollaboration 通过各种视觉的模型将视觉信息转换为文本信息，之后通过ChatGPT进行信息的整理与回复多模态对话大模型-End2End MiniGPT-4 LLAVA Kosmos-1 02 多模态对话大模型mPLUG技术与应用解析 DataFunSummit#2023 模块化多模态模型mPLUG，大一统模型mPLUG-2 mPLUG系列多模态预训练工作，借鉴人脑模块化思想，针对不同模态input，不同模态output，不同模态特有属性，不同功能（Understanding，Generation）设计不同的模块，层次模块化预训练，这样可以轻量化，可拆拔的灵活应用到各种Zero/Few-Shot/Continue Pretrain/下游Finetuning/多模态表征等层次化应用场景。模块化多模态对话大模型mPLUG-Owl-Arena Arena:上海人工智能实验室OpenGVLab组织的人工标注评测多模态LLM版单，mPLUG-Owl排名第一！！模块化多模态对话大模型mPLUG-Owl-应用场景 mPLUG-Owl : Modularization Empowers Large Language Models with Multimodality 模块化多模态对话大模型mPLUG-Owl-应用场景模块化多模态对话大模型mPLUG-Owl 模块化多模态对话大模型mPLUG-Owl-训练方法 •第一阶段：对齐视觉和语义，训练视觉基础模块和视觉摘要模块•第二阶段：通过单模态和多模态相互协同，通过LoRA指令微调模型，固定视觉基础模块、视觉摘要模块和原始LLM的参数，只在LLM引入少量参数的adapter结构用于指令微调模块化多模态对话大模型mPLUG-Owl-性能评测 mPLUG-Owl构建了一个多模态指令评测集OwlEval，以下是不同模型在OwlEval上的占比表现（A最好，D最差），评分指标：ABCD打分制 •A：听懂指令，且回答满意•B：听懂指令，但是回答部分会存在一些错误•C：听懂指令，但是回答错误或者用户不满意•D：听不懂指令或者无效的回答模块化多模态对话大模型mPLUG-Owl-知识问答模块化多模态对话大模型mPLUG-Owl-多轮对话模块化多模态对话大模型mPLUG-Owl-笑话理解模块化多模态对话大模型mPLUG-Owl-涌现能力在训练中，mPLUG-Owl并未见过多图和OCR的数据，以下为多图理解的能力：模块化多模态对话大模型mPLUG-Owl-涌现能力简单的DocumentAI能力（OCR）模块化多模态对话大模型mPLUG-Owl-视频理解模块化多模态对话大模型mPLUG-Owl-多语言版本模块化多模态对话大模型mPLUG-Owl-多语言版本 mPLUG-Owl : Modularization Empowers Large Language Models with Multimodality 中文视频对话模型mPULG-Video 模块化多模态对话大模型mPLUG-Owl-消融实验训练策略和多模态指令微调数据的有效性中文视频预训练数据集Youku-mPULG 中文视频预训练数据集Youku-mPULG 03ModelScope实战分享 DataFunSummit#2023 ModelScope-mPLUG中英模型 https://modelscope.cn/models?name=mPLUG&page=1 ModelScope-mPLUG-Owl https://modelscope.cn/models/damo/multi-modal_mplug_owl_multimodal-dialogue_7b/summary mPLUG-Owl : Modularization Empowers Large Language Models with Multimodality ModelScope-mPLUG-Owl mPLUG-Owl : Modularization Empowers Large Language Models with Multimodalityhttps://modelscope.cn/studios?name=mplug&type=0 Github-mPLUG-Owl https://huggingface.co/spaces/MAGAer13/mPLUG-Owl https://github.com/X-PLUG/mPLUG-Owl mPLUG-Owl : Modularization Empowers Large Language Models with Multimodality 04mPLUG项目主页 DataFunSummit#2023 mPLUG-项目主页 mPLUG-ModelScope创空间体验英文版本搜索“mPLUG-Owl”多模态对话大模型 X-PLUG讨论群感谢观看

点击免费查看完整报告