SPARC: 视觉感知与推理分离的视觉语言模型框架
摘要
尽管近年来测试时扩展（在推理过程中根据需要动态扩展标记预算）在视觉语言模型（VLMs）方面取得了成功，但它仍然存在脆弱性。非结构化的视觉推理链将感知和推理交织在一起，导致长而混乱的上下文，其中小的感知错误可能会级联成完全错误的答案。推理还需要昂贵的强化学习和手工制作的奖励。本文介绍了 SPARC（分离感知和推理电路），这是一个模块化框架，明确地将视觉感知与推理分离。受大脑中感觉至认知处理过程的启发，SPARC 实现了一个两阶段管道，其中模型首先执行显式视觉搜索以定位与问题相关的区域，然后在这些区域上条件其推理以生成最终答案。这种分离使独立的测试时扩展成为可能，具有非对称计算分配（例如，在分布偏移的情况下优先考虑感知处理），并支持选择性优化（例如，当感知阶段是端到端性能的瓶颈时，仅改进感知阶段）。它还适应压缩的上下文，通过在较低图像分辨率下运行全局搜索，并将高分辨率处理仅分配给选定的区域，从而减少视觉标记计数和计算。SPARC 在具有挑战性的视觉推理任务中优于模块化基线和强大的视觉定位方法，例如，在 V∗VQA 基准测试中将 Qwen3VL 提高了 6.7 分，并在具有 200×更低标记预算的 OOD 设置中超过了“用图像思考”。
核心观点
- 问题: 当前的“用图像思考”范式将感知和推理交织在一起，导致上下文组织不佳，影响任务性能，并且计算成本高且容易出错。
- 解决方案: 提出 SPARC 框架，将视觉感知与推理分离，采用两阶段管道：首先进行显式视觉搜索（隐式相关性检测 IRD）以定位相关图像区域，然后在这些区域上条件推理以生成最终答案。
- 优势:
- 独立的测试时扩展: 可以独立地扩展感知和推理，例如，通过自我一致性优先考虑感知处理。
- 非对称计算分配: 允许动态分配计算资源，例如，通过强制预测作物之间的一致性。
- 选择性优化: 可以独立训练感知和推理模块，而不会忘记模型的预训练能力。
- 上下文压缩: 通过在较低分辨率下运行全局搜索并仅将高分辨率处理分配给选定的区域来适应压缩的上下文，从而减少视觉标记计数和计算。
关键数据和研究结论
- 性能提升: SPARC 在多个基准测试中优于“用图像思考”范式，例如，在 V∗基准测试中将 Qwen3VL 提高了 6.7 分，并在 OOD 设置中超过了“用图像思考”。
- 效率提升: SPARC 在低分辨率下表现出色，例如，256 像素分辨率的模型在定位精度达到 20% 时，其性能已经超过没有对象定位的 512 像素模型，同时计算成本更低。
- 训练效率: 通过对感知模块进行微调，可以显著提高感知能力，而不会降低推理模型的原始能力。
- 分辨率训练: 在较低图像分辨率下进行训练比在完整分辨率下进行训练更有效，因为这样可以增加任务的难度，迫使模型依赖于结构和语义上下文，而不是简单的记忆。
- 鲁棒性: SPARC 在需要全局场景理解或跨远处对象进行关系比较的查询中表现出鲁棒性，例如，在 V∗Far Objects 和 GQA Global 数据集上优于基线模型。
未来方向
- 探索迭代缩放管道。
- 将框架扩展到视频输入。
- 在推理阶段之前对提取的作物应用有针对性的视觉增强或超分辨率技术。
