行业研究公司研究宏观策略财报招股书会议纪要 Token 低空经济十五五 AIGC 大模型

生成未必理解：基于扩散模型能否实现视觉世界模型？

2025-03-21 腾讯生产-肖徐-审核报告小号

核心观点：视觉生成与视觉理解目前存在割裂，生成未必理解，理解无法生成；两者建模方式、参数规模均不同，视觉理解依赖LLM，视觉生成依赖扩散模型。
发展历程：视觉生成基于扩散模型发展迅速，从DDPM到LDM，再到Stable Diffusion等，应用广泛；视觉理解则依赖LLM，如DALL-E、CogView等。
世界模型路径：未来世界模型的实现需要统一多模态理解和生成，多模态大模型是关键，代表性工作包括LanguageBind、MoH、MoE++、Flow-World、AR-World等。
Open-Sora Plan：团队提出256倍压缩的3D因果VAE、任意分辨率及时长训练等技术，开源计划获得GitHub Trending全球榜单第一，持续更新近半年，累计新增代码8万余行。
视觉世界模型探索：包括相机位姿先验4D生成和全景3D生成，前者输入相机位姿构建不同视角的4D世界，后者输入全景二维信息构建3D全景世界。
视觉生成架构：自回归Transformer可能成为统一架构的关键，但目前生成架构仍未收敛到Diffusion，存在自回归Transformer与Diffusion的竞争。
统一框架挑战：视觉理解和生成的Encoder是否需要统一、离散与连续的选择、TaskConflict和GradientsConflict的处理、视觉CoT的加入等问题需要解决。
统一框架方案：自回归Transformer统一架构，理解和生成在同一主干网络中端到端训练；MoE、MoH架构对于原生统一至关重要；高效注意力机制是关键。
多模态CoT增强：LLaVA-CoT/o1模型开源，首个视觉多模态慢思考模型，有助于提升生成和理解精度。
争议点：统一Loss还是统一建模方式？视觉模态选择连续还是离散？
研究结论：自回归Transformer可能是大统一的关键，类Sora架构意义重大，但路线之争（Loss统一或建模方式统一、视觉模态选择）仍需解决。