Enhancing LLM-based Search Agents via Contribution Weighted Group Relative Policy Optimization

Idea

CW-GRPO 保留 final-answer outcome advantage，用 LLM judge 对每轮 retrieval utility 与 reasoning correctness 的判断重新分配成功轨迹中的学习权重。Process signals 用于 advantage reweighting，而不直接作为独立 reward，试图兼顾细粒度 credit assignment 与 outcome-based training 的稳定性。

Research Problem

标准 GRPO 将同一 trajectory advantage 广播给所有 search rounds，难以区分关键搜索和冗余步骤；直接优化 noisy process reward 又可能引入错误监督。论文研究如何让中间判断影响梯度分配，同时保留 final correctness 的主导作用，并避免对失败原因作过强归因。

Insight

成功轨迹中的有效证据获取和正确解释更容易与结果对应，失败轨迹却可能只是 corpus 缺失或 retriever 能力不足。因此作者只细分成功轨迹的贡献，失败轨迹保持均匀权重。该设计是保守的信用分配 heuristic，judge agreement 不能证明某一步具有严格 causal contribution。

Method

1. 每题采样 group trajectories，以最终 answer EM 计算 group-normalized outcome advantage；每个 search round 由 judge 分别标注是否获得新且相关证据、是否正确解释当前 context。
2. 将两个 binary labels 相乘作为 contribution signal，只有 retrieval utility 和 reasoning correctness 同时满足才记 1；使用人工标注的小样本校准 judge rubrics。
3. 成功轨迹把 contribution 经 temperature-controlled softmax 归一化，失败轨迹则对所有 search rounds 赋均匀权重；再乘 search-round count，使逐轮 advantage 的平均值保持等于原 outcome advantage。
4. Final answer round 直接使用原 outcome advantage，各轮采用 clipped policy objective 更新。Evaluation 包含 Avg@4 EM 与筛选的 hard-case QA，并使用限制 parametric knowledge 的 prompt，因此表中 baseline 分数不应直接与其他论文的默认设置横比。