DriveAgent-R1：通过混合思维与主动感知推进基于VLM的自动驾驶

核心观点： 该研报提出了 DriveAgent-R1，一个用于自动驾驶的智能驾驶代理，旨在解决现有 VLM 在复杂环境中决策短视和感知被动的问题。DriveAgent-R1 的核心创新包括：

• 混合思维框架： 该框架能够根据场景复杂度，在高效的基于文本的推理和深入的基于工具的推理之间动态切换，平衡决策效率和可靠性。
• 主动感知机制： 通过视觉工具包，DriveAgent-R1 能够主动获取环境信息，解决感知不确定性，提高决策的鲁棒性。

关键技术：

• 混合思维过程： DriveAgent-R1 遵循描述、推理和预测的三阶段结构化思维框架，根据场景选择合适的推理路径。在简单场景下，它采用基于文本的推理 (Mtext)；在复杂场景下，它采用基于工具的推理 (Mtool)，并通过视觉工具包获取额外信息。
• 视觉工具包： 包含高分辨率视图检索、区域感兴趣 (RoI) 检查、深度估计和 3D 物体检测等工具，帮助模型获取关键视觉证据。
• 渐进式训练策略： 通过监督微调 (SFT)、强制对比模式强化学习 (FCM-RL) 和自适应模式选择强化学习 (AMS-RL) 三个阶段，逐步培养模型的混合思维和主动感知能力。

实验结果：

• 性能提升： 在 SUP-AD 数据集上，DriveAgent-R1 在预测精度、推理质量和模式选择方面均优于基线模型和现有 SOTA VLM，证明了其有效性。
• 主动感知的重要性： 消融实验表明，移除图像输入会导致 DriveAgent-R1 性能大幅下降，验证了其决策与视觉证据的紧密联系。

研究结论： DriveAgent-R1 通过混合思维和主动感知，实现了更安全、更智能的自动驾驶决策，为未来更高级的自动驾驶系统发展奠定了基础。