MMSearch-R1: Incentivizing LMMs to Search

Idea

MMSearch-R1 直接用 GRPO 训练 LMM 在真实互联网的 image search、text search 与直接回答之间作多轮决策。方法将带搜索惩罚的 outcome reward 与 search-balanced VQA 数据配合，使模型学习何时借助外部知识以及采用哪种检索模态。

Research Problem

固定 retrieve-then-generate 即使模型已知答案也会搜索，文本 agent 的训练又不足以处理视觉实体未知和实体事实未知这两类知识缺口。若训练集全部需要检索，策略容易形成无条件调用习惯；缺少简洁可验证答案也会使多模态 RL 的奖励不可靠。

Insight

“是否需要搜索”取决于当前模型已有能力而不是题目固有标签，因此用模型 rollouts 操作性区分 search-free 和各类 search-required。让无搜索正确回答获得更高收益，同时保留必要搜索成功样本，可形成内部知识与外部取证之间的实际取舍。

Method

1. 构造 FVQA：从 MetaCLIP visual concepts 的头部/尾部采样并检索图文网页，用 GPT-4o 生成简洁 factual VQA，结合 InfoSeek 文本知识题及人工真实查询，并按知识 taxonomy 平衡。
2. 先在完整数据训练 probe model，每题采八条 rollouts；全错则剔除，有任一不搜索正确则标 search-free，其余按正确路径中的 image/text/mixed search 分类，得到约五千题平衡子集。
3. image search 对原图返回前五个相似网页 thumbnail/title；text search 执行模型 query，经 SerpApi、Jina Reader 和 Qwen3-32B summarizer 返回相关网页摘要。
4. 每轮在 reason 后选择一个动作，检索结果加入 information block；直到回答或轮次上限，环境返回 tokens 屏蔽训练损失。
5. GRPO 不用额外 cold-start，奖励组合 exact-answer correctness 与严格格式；只要正确轨迹发生搜索就对正确性分数乘 penalty factor，比较答案性能及 search calls。