Look Less, Reason More: Rollout-Guided Adaptive Pixel-Space Reasoning

Idea

该工作让 VLM 学习按问题决定是否进行 zoom-in，而非普遍鼓励视觉工具。训练时对同一问题分别执行强制用工具、禁止用工具及自由决策的 rollout，用前两组的准确率差异指导第三组，从模型自身表现估计 pixel operation 的实际必要性。

Research Problem

静态视觉表示可能丢失细节，但已有 pixel-space reasoning 容易过度放大，增加 token 与工具开销并引入无关区域；只奖励最终答案也可能使策略退化为总是用工具或完全不用工具。缺少的监督是针对当前模型和当前问题，额外视觉访问到底能否改善解答。

Insight

工具价值具有 query-specific 和 policy-dependent 特征。若禁止 zoom-in 的平均准确率已经不低于强制使用时，额外调用通常缺少收益；反之，应鼓励调用。通过同策略的成组试验构造这种相对信号，可以避免依赖额外像素级“必须用工具”标注。

Method

1. Operation-Aware SFT 混合纯文本 CoT 与含 pixel operations 的轨迹，以标准交叉熵训练基础推理和合法 zoom-in 能力，避免后续 RL 将工具使用失败与工具不必要混淆。
2. 每个问题采样 forced-tool 与 no-tool 两组 rollout；根据最终答案分别计算平均准确率，只有前者更高时，将该问题标记为需要 pixel operation，并用 instruction-following reward 保持两组行为受控。
3. 自由模式 rollout 自主选择是否 zoom-in；Adaptive Tool-Necessity Alignment Reward 联合考虑答案正确性与调用决策是否符合必要性信号，正确且一致获得更高奖励，错误且不一致受更大惩罚。
4. 进一步用 rollout 间工具调用指示变量的方差构造 consistency penalty，将其与正确性和 alignment reward 汇总用于策略优化；实验同时报告任务准确率与 tool usage ratio，以评价收益和调用效率。