Chaining the Evidence: Robust Reinforcement Learning for Deep Search Agents with Citation-Aware Rubric Rewards

Idea

CaRR 将 deep-search question 拆为涉及 hidden entities 的 atomic rubrics，要求最终解释明确识别实体、有已访问网页 citation 支持，并组成连接到 answer 的 evidence chain。C-GRPO 将这一 rubric score 用于区分答对的 trajectories，鼓励有证据的完整解题。

Research Problem

Binary outcome reward 可能奖励跳过中间线索、猜对答案或编造解释的 shortcut，无法识别 reasoning comprehensiveness 和 factual grounding。论文研究如何奖励不仅答案正确、而且关键事实得到支持并相互连接的 search process，同时保持 final correctness 为主要目标。

Insight

单独覆盖实体或引用网页仍可被利用：agent 可能找到真实但与最终答案无关的事实。Entity–rubric graph 的 connectivity 把局部支持与目标答案连接起来；但检查基于最终 response、已收集 web content 与 LLM judge，并不是对整个 internal reasoning 逐步形式验证。

Method

1. 训练前用 LLM 从 synthetic multi-hop question 提取 hidden entities 和 atomic factual rubrics，固定这些 checkpoints；最终 answer entity 记为 E0，其他实体可由 agent 在解题中发现。
2. 从 final response 识别每个 entity 的显式名称，仅保留实体全部被识别的 rubrics；抽取至多 20 个 cited URLs，收集轨迹中对应 snippets/open/find 内容，由 judge 判断 rubric support。
3. 建立 identified-entity 与 supported-rubric 的 bipartite graph，从 predicted answer entity 做 BFS；可达且得到 citation 支持的 rubric 数占总 rubric 数的比例构成 CaRR，过滤与答案脱节的事实。
4. C-GRPO 仅对 outcome 正确的轨迹混入 group-max-normalized rubric reward，错误、格式不合规或超预算轨迹 reward 为 0；采用 multi-turn GRPO 并 mask observed web tokens。识别实体无需与构题时的 gold entity 逐字匹配。