InfiniteWeb: Scalable Web Environment Synthesis for GUI Agent Training

Idea

InfiniteWeb 自动生成可供 GUI agent 训练的多页面网站、任务与 evaluator。它先统一任务驱动的数据模型和接口，再分别实现业务逻辑与视觉前端，解决单页代码生成扩展到完整网站时的跨页不一致问题。

Research Problem

现有 GUI 训练长期局限于人工构建的少数应用，增加同一环境内的指令或轨迹无法带来足够功能和视觉多样性。直接让 LLM 生成网站又容易出现 API 参数不一致、关键流程不可用、样式趋同，以及缺少可靠训练奖励等问题。

Insight

训练环境的核心是 agent 所需任务路径可执行，而不必先证明整个商业网站所有功能正确。让任务、数据、代码和测试共享统一规格，可以把验证资源集中在这些路径；真实参考图提供视觉变化，应用状态与 instrumentation 则自然提供部分完成奖励。

Method

1. 从 Common Crawl 提取 website seeds 与设计参考图，为每种网站先生成用户任务，再统一设计 entities、页面结构和 API signatures；区分系统管理参数与用户输入参数，使各页面共享一致接口。
2. Task-Centric Test-Driven Development 先生成满足任务的数据，再并行生成测试和实现；运行测试，把失败用例、预期与实际结果及代码交给模型修复，迭代到通过或达到上限。
3. Design-Guided Frontend 从参考图抽取配色、字体、间距与组件规则，建立公共页面框架，再生成各页 HTML/CSS/JS 并绑定 backend SDK；数据存于 localStorage，实现无后端服务器的跨页持久化。
4. 结合应用原有状态和新增进度检查点生成 JavaScript task evaluators，按关键步骤提供 partial credit。分别评估网站功能、视觉质量以及用生成环境训练 UI-TARS 后在 OSWorld、Online-Mind2Web、MobileWorld 的迁移表现。