GTA: Generating Long-horizon Tasks for Web Agents at Scale

Idea

GTA 把网站 crawling 与任务生成解耦：先缓存网页图，再检索并组合有关联的页面生成需要跨页证据的任务，同时保存答案与可回放路径。这使长程 Web Agent 数据生成可以复用一次抓取，而不必每生成一题重新运行昂贵探索 Agent。

Research Problem

人工 benchmark 规模有限且常只有起点和目标；基于 LLM rollout 的自动生成又成本高、偏向显眼页面，并可能只产生可由搜索摘要回答的浅层任务。需要同时保证站点覆盖、真正 multi-hop 依赖和过程级可执行证据。

Insight

网站图可以同时承担探索覆盖与可达性约束，而语义检索将相近页面配对后，生成器可围绕共同关系提出综合问题。质量检查必须排除两个独立问题的简单并列；自动校验仍非全正确保证，作者人工抽样答案一致率为 87%，真实性评分也低于所比较的 AgentTrek。

Method

1. 对公开网站 breadth-first crawl，为页面保存 accessibility tree，并在发现更短路线时更新 canonical parent，构建网页节点与 hyperlink 边组成的缓存图。
2. 用 encoder 为页面编码，从 seed page 检索候选相关页面并随机选一个 partner，将两页内容交给 LLM 生成问题和答案；multi-hop 定义要求至少两个不同页面贡献必要证据。
3. 依次检查真实组合依赖、基于支持页面可验证的答案、限定条件是否充分以及唯一性，并确认图内存在获取充分证据的可执行路径；保留 query、answer、缓存图和最小路径。
4. 在五十余网站生成 5,000 个站内任务，并在医疗与金融网站组构建 600 个跨站任务；公开生成流程使用户可重新抓取网站，刷新时效性内容。
5. 用搜索摘要 baseline、首层页面覆盖、人工答案检查及复杂度/实用性/真实性评分诊断数据；再测试 Browser Use、AgentOccam 的站内、跨站和多语言表现。覆盖率是特定站点的首层节点统计，不等同于所有网页功能完整覆盖。