多模态大模型专家交流20250608会议要点总结
1. 多模态模型技术特点
- 与多媒体的区别：早期多模态约等于多媒体（语音、音频、图片、视频），后随大模型发展，多模态含义更丰富，独特处理方式即为模态（如新闻联播手语）。
- 应用场景分类：常见双模态（语音+文字、语音+情感等）和三模态场景。
- 与单模态本质区别：
- 训练：单模态（如GPT）基于强化学习且无标注可行，多模态需数据标注，成本周期更长，需解决向量统一问题。
- 推理生成：多模态消耗大，可能需额外编码能耗，生成时成本高，不同模态结合复杂度及成本差异明显（如语音+视频成本高，文字+图片成本低）。
2. 多模态模型发展制约因素
- 算力制约：
- 复杂视频方向算力是基础制约，如谷歌VIVO3研发需50万片H100/H200芯片，耗时三个月，国内算力不足导致算法推进变缓。
- 国内公司为应对算力不足，强调模型推理消耗小，但生成视频相对简单。
- 技术难点：
- 多模态理解：向量统一存在信息损失，注意力机制对视频处理困难，二季度出现跨模态注意力机制，但向量对齐仍有损耗。
- 生成环节：算力是卡点，多态生成推理比预训练耗算力，Transformer架构在处理长视频时内容不可控，涉及视频的多态生成表现差。
3. 多模态模型国内外进展与商业化
- 国内公司：
- 全面投入大模型仅阿里和字节，文生视频领域快手和MiniMax的海螺表现较好，阿里通义及字节集梦系相对欠佳。
- 国内公司在视频生成商业化方面表现好（如快手利用短视频优势）。
- 国外公司：
- GPT-4综合输入理解好，生成图片佳，无视频生成；谷歌Vivo2/3技术强，Vivo3可生成有人类语音对白的视频，Vivo2能生成两分钟4K视频。
- 国内短期内追上谷歌文生视频或视频多模态生成概率低，如可伶、VMax三个月内追上Vivo3可能性极小，字节需至少三个月。
4. 边缘计算在多模态场景应用
- 边缘计算思路：
- 阶梯式拆分计算（手机端-边缘计算-远端服务器），提升效能、降低成本。
- 根据模型部署尺寸不同（手机端5-7B，边缘7B-32B，远端32B以上），不同模型不同环节做不同工作。
- 应用案例及优势：
- 豆包视频通话：边缘计算后手机端只负责截取画面，边缘计算批量压缩解码，提升用户体验、扩大手机端范围。
- 抖音推荐：边缘计算推理用户视频偏好，减少服务器计算成本。
5. 强化学习及相关模型在多模态应用
- 强化学习应用局限：多模态或图片视频生成方向应用可行，但与少量数据标注结合不适配，因图片视频场景需大量标注，强化学习仅适用于理解、总结、概率推理环节。
- LLM模型作用：GPT-3在多模态理解上可总结内容，但对视频生成、音视频理解等环节贡献有限，除内容理解、逻辑推理可调用该模型外，其他环节贡献不适用。
6. 世界模型建设及开源动态
- 世界模型建设进度：
- 分三级：视频理解模型（最快）、VLM模型（具备时空推断能力）、世界大模型（具备人文社科思考能力）。
- 国内外均处于VLM级别，国内研究VLM公司少（阿里、字节投入多），英伟达推世界大模型但承认无法完全理解世界，分场景推动。
- 从VLM到世界大模型，国内算力可能是瓶颈，国外通过囤卡抢占先机。
- 开源模型情况：
- 国内开源模型（千帆、字节白狗、通义千帆万象系列）在视觉理解等全模态理解方面表现不错，但VLM方向国内目前无表现好的开源模型，因研发成本高。
7. 大厂多模态应用产品亮点
- 阿里：通义系列大模型综合能力强，多态竞争力有望保持，C端动作不激进，但在阿里系公司（高德、优酷）广泛应用。
- 字节：多模态应用广泛且表现不错，对外输出方案（火山引擎众包视频通话实时理解）、语音能力（双工实时对话、语音合成）、文生图、文生视频（ByteGo全模态技术，综合能力强但生成视频表现非最佳）。
8. 多模态B端应用产业节奏
- agent价值体现：
- 普通型agent可快速发挥价值，如替代人工审核快递公司招聘流程。
- 生成式多模态agent适合通用文生图、文生视频等应用，提升场景表现，可辅助拆分提升理解能力。
- 相互促进关系：多模态模型可借助agent表现更好，如音视频理解模型用于摄像头快速捕捉老人摔倒等，推动agent向AI发展。
