ReFAct: Empowering Multimodal Web Agents with Visual and Context Focusing

Idea

ReFAct 在 Reasoning–Acting loop 中增加 Focusing action，让 Multimodal Web Agent 主动决定图像中哪些区域值得检索、哪些网页内容应暂时移出 context。Visual Focusing 提供精确的 image query，Memory Focusing 则在保留证据可恢复性的同时控制 context 长度。

Research Problem

开放世界 VQA 同时存在 visual noise 和 retrieval noise：全图 image search 容易被显著背景吸引，错误实体识别又会污染后续搜索；长网页中的广告、导航和无关段落则占用 reasoning context。单纯增加搜索次数不能修正最初的 grounding 错误，也不能保证检索结果被有效利用。

Insight

论文把问题定位为证据进入 reasoning loop 前缺少主动筛选。先对目标区域 grounding，可以改善检索的事实起点；把原始网页与工作摘要分开存储，又能兼顾 context efficiency 和证据回溯。需要区分 framework 与训练范围：论文支持两类 Focusing，但 RL 主要优化 Visual Focusing，并未完成对动态 Memory Focusing 的联合训练。

Method

1. Visual Focusing：Agent 预测 bounding box，由 Ground action 裁剪目标区域，再以局部图像进行 image search；检索出的实体与文本事实继续进入 reasoning loop。
2. Memory Focusing：Defocus 将较大的原始内容移入 external memory，在 working context 中保留摘要与唯一 ID；需要细节时，Refocus 按 ID 恢复对应原文。
3. 构建 GroundedVQA：从 SA-1B 图像建立 Image-Knowledge Graph，采样单实体与跨实体问题；通过 rejection sampling 和 human verification 过滤不依赖 grounding 或 external retrieval 的捷径题。
4. 以 Qwen2.5-VL-7B-Instruct 为底座，用 GroundedVQA 与 FVQA 数据执行 GRPO；reward 结合 answer correctness 与 tool-call / bounding-box format，促使模型学会何时进行有效 grounding。