ARM-Thinker: Reinforcing Multimodal Generative Reward Models with Agentic Tool Use and Visual Reasoning

Idea

ARM-Thinker 把 multimodal reward model 从一次性打分器改成会主动取证的 Agent。面对多个 candidate responses，它可调用 crop / zoom、document retrieval 和 instruction validators，先核对关键证据，再输出 preference judgment。

Research Problem

Reward model 自身也会 hallucinate：候选答案仅在微小视觉细节、长文档某一页或格式约束上不同，直接看输入并比较语言流畅度很难可靠判断。已有 reward benchmarks 与训练数据缺少这种必须通过 external verification 才能区分答案的情形。

Insight

可靠判断不一定需要更长的自由推理，而可能需要改变可获得的 evidence。让 judge 主动放大、检索、运行 deterministic checks，可把抽象的 response comparison 变成具体事实核验；训练上先学会 valid tool use，再强调判断正确性，可以缓解早期调用能力不足导致的探索失败。

Method

1. 构建 think–act–observe loop，维护 texts_map 与 imgs_map 记录候选回答和视觉 artifacts；工具覆盖 image crop / zoom、按 query / index 的 document page retrieval，以及文本约束 validators。
2. 将一般 preference data 与 tool-oriented QA 数据结合，为 ground-truth response 构造有控制错误的 negative response；过滤过于简单的题目及缺乏区分度的 pairs，并筛选格式、答案和调用行为正确的 teacher trajectories。
3. 在 Qwen2.5-VL-7B 上做 SFT cold start，随后执行两阶段 GRPO：第一阶段奖励符合格式的工具探索，第二阶段将优化重点转向 final judgment correctness 与有效 tool use。
4. 用 ARMBench-VL 分别评测 fine-grained image QA、multi-page document QA 和 multimodal instruction following，检查工具支持下的 reward modeling 能力，而不只看普通 single-turn preference accuracy。