BrowseComp-Plus: A Fair and Disentangled Evaluation Benchmark for Deep Search Agents

Idea

BrowseComp-Plus 将 BrowseComp 的开放网页搜索改为固定、human-verified document corpus，使研究者可以独立替换 agent 和 retriever，分别观察 retrieval effectiveness 与端到端 answer quality。它同时提供 evidence documents 和 gold documents，支持对复杂搜索链中的证据覆盖进行诊断。

Research Problem

实时商业 search API 的索引、排序和网页内容不断变化，不同 agent 的结果可能来自工具环境差异；没有固定 corpus 与 relevance labels，也无法判断改进究竟来自 planning 还是 retriever。论文要在保留 deep-search 难度的同时，建立更可复现、可拆分比较的测试条件。

Insight

固定检索环境不仅服务公平比较，也让更强 retriever 的收益显式可见：其价值可能同时体现为更高成功率与更少 search calls。Evidence coverage 必须覆盖题目全部 clues，gold document 也不能简单定义为出现 answer 字符串的页面，语义上蕴含答案同样重要。

Method

1. 以原 BrowseComp question–answer pairs 进行 reverse evidence gathering，让具备 web search 的 o3 按 clue、URL、evidence 输出支持链；抓取页面，排除缺失关键 URL、无法建立完整证据的题目。
2. 人工逐项标注支持 clue 的 text spans，并判断组合证据是否足以回答整个问题；原证据不足时继续搜索补充，同时标注直接或隐含包含最终答案的 gold documents。
3. 将原问题分解为 subqueries，通过 web search 收集 hard negatives，再与 positives 去重合并，形成 830 queries 与 100,195 documents 的固定 corpus。
4. 为 agents 提供可替换 retriever tool；主要设置返回 Top-5，每篇截取前 512 tokens，统一要求 answer、confidence 与 citations。评估需结合该截断设置理解，不能将其等同于完整网页浏览能力或直接拿分数替代原 BrowseComp。