DORA: A Dual-Objective Reinforcement Learning Framework for Effective and Efficient Multimodal Agentic Search

Idea

DORA 用 dual-objective RL 同时训练多模态 agent 的检索质量与回答质量，并只在正确轨迹之间奖励较少的 search calls。它把取回正确证据、利用证据回答和控制调用开销分开建模，避免最终答案一项奖励掩盖中间搜索的贡献。

Research Problem

现有 MMSearch-R1 一类方法主要由最终回答正确性监督整个 trajectory：即便找到正确资料，只要后续推理出错，检索行为也无法获得明确正反馈；反之最终答对可能伴随大量无用调用。把 retrieved text 直接接入 reasoning 而不检查相关性，也容易积累噪声并继续无效搜索。

Insight

检索和回答的成功条件不同，应对相应 token 提供不同学习信号。对正确回答的组内候选比较 search 次数，可以在不直接奖励错误短轨迹的前提下学习效率；每次检索后的 reflection 则把证据是否相关、是否足够转成下一步 query refinement 或停止决定。

Method

1. 采用 think→search→information→reflect 的交互结构：无关结果触发 query refinement，部分相关但不足则总结关键证据并继续，证据充足时进入 conclude 和 answer；检索器接受文字或图像 query。
2. 若整条轨迹检索到至少一个 golden document，给予 retrieval reward，独立于最终答案。answer reward 则叠加 correctness、格式检查比例及 efficiency：在正确 trajectories 中对负 search-call 数做 softmax，调用越少相对奖励越高。
3. 分别对 search reward 与 answer reward 做组内归一化。search objective 只更新被标为检索的 tokens，answer objective 按正文公式作用于整条生成序列；两者均使用 GRPO clipping 和 KL，训练中动态调整权重，逐步偏向回答目标。
4. 以 Qwen2.5-VL 3B/7B 在 Enc-VQA、InfoSeek、SK-VQA 的筛选数据上训练，每题多 rollout 并限制最多五次搜索。retrieval baselines 使用相同 LamRA 与知识库，以 answer EM、命中式 Recall@5 和平均调用数分别评估效果与效率。