Rethinking Reasoning-Intensive Retrieval: Evaluating and Advancing Retrievers in Agentic Search Systems

Idea

论文同时改造 reasoning-intensive retrieval 的 benchmark 与 training data：BRIGHT-PRO 为 query 标注带权 reasoning aspects 和互补证据，并把 retriever 放进相同 agentic search loop 评估；RTriever-Synth 则按 answer aspects 合成多个 positives 与匹配的 hard negatives，用于训练 RTriever-4B。

Research Problem

少量 gold passages 和单次 relevance ranking 难以衡量复杂问题所需的 evidence coverage：retriever 可能返回很多同一方面的材料，却漏掉关键推理前提。单正样本合成数据也倾向于优化某一篇 passage 的匹配。论文研究如何让评估和训练共同关注 complementary evidence，以及这种差异如何影响 agent 的搜索轮数与最终回答。

Insight

Agentic search 中，单篇文档的 relevance 需要放到累计 evidence set 中判断，重复支持已有 aspect 的价值可能低于补齐缺失前提。因此 static ranking 与 downstream completeness 应并列检查。RTriever 的互补性主要由数据构造注入：训练仍随机采样一个 positive 和 negative 做 InfoNCE，并不是显式优化整个 portfolio 的 set-level objective。

Method

1. Benchmark construction：基于 BRIGHT 的 StackExchange subset，由领域 annotators 拆解 reasoning aspects、赋 importance weights，重审旧 positives、补充新证据并合并冗余；第二位 annotator 再检查 aspect 与 passage 对应关系。
2. Evaluation：static setting 用 α-nDCG 和 Weighted Aspect Recall 检查多样性覆盖；agentic setting 固定 prompts、tools 与 budgets，仅替换 retriever，比较固定 1–3 轮和自主停止协议下的 completeness、quality 与 search rounds。
3. Synthetic corpus：将 MS MARCO seeds 扩写为带背景的 queries；analytical queries 先生成 reference answer，再拆为互补 aspects 和 positive blueprints；hard negatives 保留相近主题但显式遗漏所需 aspect，随后统一生成 passages。
4. Retriever training：以 140K bundles 对 Qwen3-Embedding-4B 做 LoRA fine-tuning；每步随机选一个 positive、一个 synthesized hard negative，并加入 in-batch negatives，用 query-document InfoNCE 优化，随后检验静态与 agentic retrieval 表现。