Learning to Focus and Precise Cropping:A Reinforcement Learning Framework with Information Gaps and Grounding Loss for MLLMs

Idea

LFPC 用两阶段 RL 学习真正依赖 image crop 的高分辨率问答。第一阶段人为建立低分辨率全局图像与高分辨率 crop 之间的 Information Gap，第二阶段以少量 hierarchical bounding boxes 改进裁剪精度，不需要教师提供完整 reasoning trajectories。

Research Problem

已有 crop agents 可能先根据全图猜答案，再调用工具确认。作者在 HR-Bench 与 V* 中把 crop 替换为 ground truth 或 random noise，发现部分模型准确率变化很小。因为训练时全图和裁剪源图具有相同细节，答案奖励不足以迫使模型读取工具输出，单纯在测试时降低全图分辨率也不能补上这种能力。

Insight

工具输出必须带来全局输入无法直接提供的信息，策略才有学习使用工具的动力。但全图降采样不能过度，否则目标无法定位。Information Gap 又会诱导模型扩大 crop 获取更多信息，因此还需要兼顾关键内容覆盖与区域精简的 grounding supervision。

Method

1. Offline Resolution Selection 逐级降低原图分辨率，用待训练模型分别回答原图与降采样图的问题，在答案首次分歧时选定全局输入。crop 始终从高分辨率原图提取。
2. 第一阶段采用 QA pairs 训练 Qwen2.5-VL-7B，以 answer accuracy、format reward 和仅在答对且调用工具时发放的 tool bonus 组成奖励，使用 GRPO 更新，不使用已有数据中的教师推理轨迹。
3. 第二阶段从 VisualProbe 取 256 个样本，人工标注从最小必要证据到包含上下文区域的嵌套 boxes，允许多个合理裁剪尺度。
4. Grounding reward 将 IoU 与归一化 L1 距离组合。只有 crop 对最小必要 box 的覆盖超过 0.9 才获得 IoU reward，L1 分量则在没有重叠时仍提供较密集信号。用不同全图 token 预算及 crop 替换实验检查工具依赖。