Mitigating Context Interference for Reliable and Efficient Search Agents

Idea

论文先通过 context ablations 定位 search agent 的干扰来源，再训练一个 query-conditioned Context Refiner，从每轮最新检索文档中提取相关信息。Context-Refined Reinforcement Learning（CRRL）把该 refiner 接入 agent rollout，让 policy 在更精简的证据和保留的 reasoning history 上继续查询与作答。

Research Problem

Retriever 为提高 recall 返回多个 documents，却同时引入无关内容；即使正确答案已经出现，agent 仍可能被噪声误导或继续冗余搜索。论文研究历史 queries、历史 documents 和最新 observation 各自的影响，以及一般 summarization 是否足以解决干扰，或需要面向当前 search query 的证据抽取。

Insight

去掉旧 documents 和 queries 只能带来有限改善，而删除历史 thinking 会损失规划状态、增加重复检索；实验据此把最新 retrieved documents 作为主要 refinement 目标。Refiner 的任务是保留当前 query 所需的证据，而非生成全局摘要。该结论来自特定 QA、retriever 与模型设置，entailment filtering 也只能降低而非彻底消除 teacher 引入新知识的风险。

Method

1. Interference diagnosis：在 IRCoT agent 中分别屏蔽旧 documents、旧 queries 与 thinking history，比较 Exact Match、Average Retrieval Times 及已检索到答案却未答对的差距，分析不同 context 组成的作用。
2. Distillation data：让 GPT-4 在每次检索后只抽取与当前 search query 相关的信息；仅保留最终正确 trajectories 中的 extraction pairs，并用 entailment model 过滤不被原 documents 支持的内容。
3. Refiner training：以 documents、query 为输入，teacher extraction 为目标，对 Qwen2.5 3B/7B 做 SFT；推理时先 refine latest documents，再把精简 observation 提供给 search policy。
4. CRRL：在 GRPO rollouts 中保留历史 thinking、最近 search query 与 refined observation，减少旧检索冗余；policy loss 只覆盖模型生成的 reasoning/query tokens，对 retrieved tokens 做 loss masking，在单跳和多跳 QA 上比较准确率与检索开销。