WebAggregator: Enhancing Compositional Reasoning Capabilities of Deep Research Agent Foundation Models

Idea

WebAggregator 通过真实 web exploration 收集分散信息，再按 compositional reasoning guidelines 将它们组合成需要过滤、计算、集合操作或时间分析的 QA。经过多轮验证和 rejection sampling 的 agent trajectories 用于 SFT，同时保留 WebAggregatorQA testbed，检验 deep-research agent 能否把找来的材料真正组合成答案。

Research Problem

许多 web-agent 数据将难度集中在找到某个实体或网页，成功检索后答案可以直接复制，因而不能充分训练多源 evidence aggregation。论文研究如何规模化生成同时需要 retrieval 与 compositional reasoning 的任务，并观察训练能否减少冗余调用、改善信息使用，而不只是提高搜索覆盖。

Insight

任务难度应体现在 evidence 到 conclusion 的转换中，而不只体现在 evidence 藏得多深。以 logical operations 作为开放式生成指导，可以在真实资料上产生跨来源组合问题。论文关于 reasoning bottleneck 的结论来自这些任务及诊断实验，不能推导为 retrieval 已不重要；QA verification 也包含 agent 检查，不应被描述为全部由形式化 solver 证明正确。

Method

1. Anchor 与 exploration：从多领域 queries 获取 anchor URLs，Proactive Explorer 通过 search、visit、screenshots、files 和动态页面操作收集相互关联的信息，并要求一定的访问范围。
2. Composition：Compositional Logic Proposer 以 Element、Set、Scientific Analysis 和 Temporal Reasoning 四类、12 个细分操作为 guidance，按收集到的数据实例化问题、答案、solution 与引用 URLs，而非套固定题目模板。
3. Quality control：先 checklist self-refinement，再由另一 agent 尝试解题并核对 sources；平衡 domains 和稀缺操作。随后采样 GPT-4.1/SmolAgents trajectories，过滤错误答案和 tool-format errors，同时保留可恢复的网页异常。
4. SFT 与评测：使用最终 6,184 条 trajectories 训练多个 Qwen backbones，mask question 和 observations，仅监督 agent actions 与答案；在 GAIA-text、WebWalkerQA、XBench 和预留 WebAggregatorQA 测试任务上比较表现。