Simple-VGC: Enhancing Visual Grounding in Multimodal Reasoning via Adaptive Tool Composition

Idea

Simple-VGC 按 visual grounding 的失败机制组合三种图像操作：reuse 重新注入原图，focus_area 聚焦区域，zoom_in 放大图像。通过 TWI-Tools-146K 的多步工具轨迹训练，模型在推理中主动补充视觉输入，而不只依赖开头的一次图像编码。

Research Problem

长文本生成会削弱与初始视觉证据的对齐；低分辨率使局部细节难以辨认；分散注意力又可能把描述对齐到错误但相似的区域。固定“裁剪再放大”流程无法针对三种不同问题调整操作，因而工具数量增加不一定带来可靠 grounding。

Insight

视觉信息不足并非单一故障：遗忘、分辨率不足和定位偏差需要不同干预。显式重新访问、区域限制和尺度调整提供互补补偿，工具选择与文本推理交替进行，能够让新视觉证据及时影响后续判断。作者使用 attention 可视化和单工具实验支持这种划分。

Method

1. 提供 JSON 格式工具接口：reuse 将原图再次加入序列，focus_area 使用 bbox 裁剪，zoom_in 按倍率插值放大；executor 执行后将图像观察追加到当前推理上下文。
2. 以 MATHV360K、LLaVA-CoT-100K 与 ArxivQA 等数据为源，让 teacher MLLM 生成包含 atomic reasoning、visual plan、工具指令和图像结果的交错轨迹，每题最多尝试两次。
3. 依次检查最终答案与工具使用有效性；reuse 和 zoom_in 审核指令与计划的语义一致，focus_area 检查 bbox 是否覆盖目标，筛成 TWI-Tools-146K。
4. 在 Qwen2.5-VL-7B 上用 modality-aware masked cross-entropy 做 SFT，只对文本生成计算损失；推理时解析工具标签、执行操作并继续生成，直到 answer 或轮数限制。focus_area 训练反馈为带红框的整图，推理反馈则为裁剪图。