SenseSearch: Empowering Vision-Language Models with High-Resolution Agentic Search-Reasoning via Reinforcement Learning

Idea

SenseSearch 在同一 agentic VLM 中协调 text search、reverse image search 和 image crop，让高分辨率细节识别与外部知识查询相互驱动。它以少量完整交互轨迹建立 cold start，再用 Batch-Normalized GSPO 训练多轮搜索推理，不固定三种工具的调用顺序。

Research Problem

已有搜索 VLM 侧重整图实体和知识，容易遗漏小 logo、局部文字等证据；只会 crop 的模型又无法获得外部事实。多工具轨迹在长度、难度和 reward 上异质，训练时可能造成更新尺度不稳定，也缺乏同时考察细节与知识的 benchmark。

Insight

视觉与知识缺口会在交互中改变：crop 可先识别细小实体以形成有效文本查询，image search 可补充未知身份再引导检索。因此需要优化完整交互序列，使不同问题的 advantage 尺度可比较，最终答案和协议有效性共同监督这一过程。

Method

1. 状态包含初始 query、原图及全部历史 reasoning、tool calls 和返回文本/图像；每轮先推理再执行一种工具，或给最终答案，超过轮数上限仍无有效答案则算失败。
2. 整合 FVQA、Pixel-Reasoner warm-start 和专家 QA；以 Qwen2.5-VL-7B 八次 rollout 至多答对一次筛选 hard samples，用 Gemini 合成工具轨迹，GPT-4o 检验格式、逻辑和答案，留下约 3K SFT 样本。
3. RL 混合 factual QA 与高分辨率视觉数据，同题采样成组轨迹，先组内标准化 reward，再在 optimizer minibatch 上标准化 advantage；以长度归一的 sequence importance ratio 进行 clipped GSPO 更新，并加 reference-policy KL。
4. 总 reward 为 LLM judge 的答案语义一致性加 format compliance，要求非终止轮有 reasoning 和一个合法 JSON tool call。另构建 HR-MMSearch，将细节观察与搜索型问题联合纳入评价。