PRInTS: Reward Modeling for Long-Horizon Information Seeking

Idea

PRInTS 将 generative Process Reward Model 同时训练为 scorer 和 trajectory summarizer：前者评估候选 reasoning + tool call 对任务成功的潜在贡献，后者递归保留历史中的关键发现和计划。推理时用紧凑 summary 与最新 tool response 为多个候选步骤评分，选取最高分步骤，引导不同 backbone 的 information-seeking agent。

Research Problem

面向数学短推理的 binary PRM 难以评价长程信息搜集中的复杂步骤：逻辑是否合理、是否正确解释 tool output、下一次调用是否有用都影响结果。同时，完整搜索历史不断增长，既增加 scorer 成本，也让无关信息干扰判断。论文研究如何获得细粒度 step quality 监督，并在长 context 下保持评估有效性。

Insight

一个步骤是否有价值，可以通过它改变后续成功概率的幅度来估计，而不只检查局部文字是否正确。这里的 information gain 是 Monte Carlo rollout 所估计的 answer success 增益，并非直接计算 Shannon entropy。将 summary 能力与 scoring 能力结合，则让 PRM 的输入围绕累积证据与待解问题组织；其质量仍受到 rollout policy、有限采样与 summary 信息损失的限制。

Method

1. 标注 step gain：从 trajectory prefix 和加入候选 reasoning/tool call 后的状态分别继续多次 rollout，以最终答案正确率之差构造 information gain score，并作离散尺度归一化。
2. 构建 preference pairs：先从成功 trajectory 的下一步与其他随机候选形成对比，再分别重新 rollout 估计 gain；按实际 gain 重新决定 winning/losing label，避免把一次成功直接当成可靠的 step ranking。
3. 训练 scorer：给模型 query、历史 summary、最新 tool response 与候选步骤，要求生成 analysis 和 scalar score；GRPO reward 结合 score estimation 与 pairwise comparison，并按标注分差调整 comparison 权重，减弱接近分数的噪声。
4. 训练与使用 summarizer：以递归更新的 trajectory summaries 作 SFT，使同一 PRM 保留关键发现与计划；部署时执行 step-level best-of-n selection，不改动底层 agent weights。评估覆盖 FRAMES、GAIA 与 WebWalkerQA，并比较不同 agent backbones。