SearchGym: Bootstrapping Real-World Search Agents via Cost-Effective and High-Fidelity Environment Simulation

Idea

SearchGym 生成相互一致的 fictional knowledge graph、documents 和多跳 questions，构建低成本 search simulation environment。先筛选可通过检索发现的 graph edges，再由 verified paths 合成任务；SearchGym-RL 用由易到难的 curriculum 训练 Search/Access 行为，并测试这些技能能否迁移到真实 Wikipedia 和 live web。

Research Problem

直接通过商业搜索 APIs 做大规模 RL 成本高，而静态 corpus 与已有 QA labels 可能不一致，使正确 reasoning 得不到 reward，甚至奖励偶然匹配的 hallucination。论文研究能否从同一结构化事实源同时生成任务和可检索证据，减少训练信号噪声，同时避免 agent 仅依赖预训练记忆作答。

Insight

模拟器的关键是 task、evidence 与 retrievability 的对齐，而不只是生成看起来像网页的文本。虚构实体降低了 parametric recall 的捷径，verified paths 则让失败更能反映 policy 的搜索与组合能力。但检索筛选只说明目标文档可被一定查询找到，不能保证任意 query 都成功；训练的 token-level F1 也仍是答案正确性的 proxy。

Method

1. Environment synthesis：按 entity/relation schema 构建可控 KG，为每个虚构实体生成包含属性与局部邻域的 Wikipedia-style document，并配唯一 URL，形成统一 searchable corpus。
2. Edge verification：为每条 edge 生成 15 个 queries，要求目标 document 至少被其中 5 个 query 检索到才保留；从 verified subgraph 采样 linear、parallel 和 nested paths，分别构建 Simple、Parallel 与 Combo QA。
3. RL interface：Search 返回 snippets 和 URLs，Access 读取全文；agent 在多轮 thought/action 后给出答案，以 terminal token-F1 reward 计算 group-relative advantages，用带 clipping 与 KL 的 GRPO 优化。
4. Curriculum 与迁移：先训练 1–6 hops 的 Simple QA，再引入 6–12 hops 及 Parallel/Combo tasks；训练只用本地 synthetic index，评估分别接入 held-out SearchGymBench、Wikipedia snapshot 和 live search APIs，检查 sim-to-real transfer。