WebGym: Scaling Training Environments for Long-Horizon Visual Web Agents with Realistic Tasks

Idea

WebGym 将 realistic visual web agent 的训练扩展为一个完整环境：大规模任务、结构化 rubric evaluator 和 asynchronous rollout system 共同支持 online RL。重点是让 Agent 在未见网站上获得可迁移的操作能力，而不是只在固定 benchmark 网站上记住任务路径。

Research Problem

真实网站会动态变化，任务跨度与执行时长差异很大。现有训练集往往网站少、难度单一，成功信号也不像 code execution 那样容易验证；同时同步 browser rollout 必须等待最慢会话，使 CPU 与 GPU 反复空闲，限制了训练规模。

Insight

任务 rubric 不仅可以评测，还可以生成 curriculum：将目标拆成 fact groups，再选取有意义的子集，就能得到更容易且仍可验证的任务。另一方面，browser interaction 的延迟高度不均匀，取消 step / episode 同步屏障能直接提高采样吞吐。论文将数据多样性、可靠 reward 和系统效率视为共同决定 scaling 的条件。

Method

1. 汇集十个已有任务集，用 GPT-4o 为任务生成包含 fact groups 的 rubric；对满足条件的任务选择 proper subsets，产生较简单的任务，并用 fact 数量定义 difficulty。按 website 划分 train / OOD test，排除测试网站在训练中的任务。
2. Evaluator 先选择承载证据的 keypoint screenshots，再结合 final answer 逐项检查 rubric；只有全部 criteria 满足才给 binary success reward，对具有 reference answer 的任务使用相应校验。
3. 采用 server / client 架构，将 CPU browser workers 与 GPU policy inference 解耦；不同会话独立推进，资源释放后立即处理下一请求。这里的 asynchronous 主要指 rollout 内部，论文的 rollout 与 policy update 仍按轮交替。
4. 在 Qwen3-VL-8B 上进行 REINFORCE-style 更新，仅最大化成功 trajectories 的 likelihood，等价于 online filtered behavior cloning；结合 difficulty sampling 与 horizon cap，控制采样成本并避免冗长成功轨迹主导学习。