Reinforcing Agentic Search Via Reward Density Optimization

Idea

InfoFlow 将 Agentic Search 的训练效率归结为 Reward Density：每单位 exploration cost 能产生多少有效 reward。它用 Researcher–Refiner 分工压缩检索上下文，以 Sub-goal Scaffolding 给部分正确轨迹提供反馈，并在训练中用 Pathfinding Hints 帮助策略跨过探索瓶颈，随后通过 GRPO 学习可在推理时独立搜索的 Researcher。

Research Problem

Deep Search QA 同时存在长轨迹成本与 sparse outcome reward：早期策略经常整组 rollout 都失败，GRPO 得不到有区分度的 advantage；直接堆入网页片段又占用 context，增加无效探索。研究问题是如何在相同探索预算下提高有效学习信号，并避免训练过程长期依赖完整 teacher trajectory 或推理阶段的答案提示。

Insight

作者把低 reward density 拆成三个可干预因素：检索内容过长、部分进展不可见、关键 search query 难以发现。对应地，压缩 observation、奖励必要中间实体、在卡住时注入查询能够相互补充。这里的 reward density 是框架设计和分析指标，实际训练仍采用带 shaped reward 的 GRPO，并非直接对期望 reward 与 cost 的比值求梯度。

Method

1. 对 InfoSeek 的 18,000 个训练问题构建 weighted sub-goals 与关键 Pathfinding Hints；前者选取解题所需的实体节点并赋归一化权重，后者为困难 reasoning edge 提供可执行 search query。两者来自离线 LLM annotation，构成额外 process supervision。
2. Researcher 生成 reasoning 与可并行的 queries，Refiner 将每条 query 的原始检索结果压缩成 summary，再反馈给 Researcher。先通过 rejection sampling 保留答对且经 verifier 检查的约 3,450 条轨迹，分别对两种角色的 action 与 summary 做 token-level fine-tuning。
3. RL 阶段用最终正确性结合 reasoning trace 对 sub-goal 实体的 Exact Match 形成 reward；当 rollout 到第 5 轮仍未结束，保留原 reasoning、以离线 hint queries 替换该轮 search action，再继续探索。Hints 仅在训练中使用，推理阶段移除。
4. RFT 后通过 group-normalized advantage 与 KL regularization 更新 Researcher。奖励公式存在需注意的文本不一致：正文 Eq. 5 写 max(..., 1)，但 Appendix E.1 明确描述 reward ceiling 为 1；本笔记保留这一差异，不将有争议的算式当作可直接复现的最终实现。