See Further, Think Deeper: Advancing VLM's Reasoning Ability with Low-level Visual Cues and Reflection

Idea

ForeSight 让 VLM 在推理中主动调用 Canny、Zoom-In 和 Color tools，并用预测目标区域被遮挡后的图像进行 visual reflection。其任务以 Odd-One-Out 的位置和区别属性为核心，既要求找到异常物体，也要说明异常来自颜色、方向、形状等哪种低层特征。

Research Problem

纯语言 reasoning 容易忽略细粒度边缘、色彩和局部结构，单纯延长 CoT 不会自动补足视觉输入。现有文本式自检还可能重复原判断，缺少能反驳当前 grounding 的新视觉证据，因此需要把感知补充和答案验证都纳入交互流程。

Insight

若当前 bounding box 真正遮住唯一异常物体，剩余画面应不再出现对应显著差异。Mask feedback 因而把验证变成可观察的反事实检查。这个逻辑依托 Odd-One-Out 任务结构，不能直接等同于适用于任意开放视觉问题的正确性判据。

Method

1. 扩展 SalBench 为 CG-SalBench，为自然与合成图像提供异常物体 bbox 与 character labels。模型读取问题和图像，自主选择直接回答，或调用低层工具后继续交错图文推理。
2. Canny 提供轮廓边界，Zoom-In 放大目标区域，Color 放大颜色差异。生成 draft answer 后遮挡其预测区域，把 masked image、旧 bbox 与旧属性送回模型；若仍发现异常就修正，实验最多两次 reflection。
3. 构建 V2-CoT cold-start 数据，以小模型无工具表现和较大模型工具收益划分 tool-free/tool-dependent 样本，用 Qwen2.5-VL-72B 生成含工具与反思的轨迹，规则清理并平衡后做 SFT。
4. GRPO reward 结合格式、bbox IoU、属性 F1、正确且不过量的工具使用，以及 verify/draft/final 与 ground truth 的一致性。Verification reward 要求正确 draft 被保留、错误 draft 被识别并修正，训练选择工具和复查的策略。