WebSynthesis: World Model-Guided Monte Carlo Tree Search for Efficient WebAgent Trajectory Synthesis

Idea

WebSynthesis训练预测accessibility tree变化的LLM World Model，再在其中用MCTS生成多分支web trajectories。模拟环境允许从检查点自由回退，因此不仅可提取成功路线，还可合成失败后go_back并转入正确分支的恢复样本，最后用课程式SFT训练web agent。

Research Problem

真实网页交互采集受网络、服务限制和不可逆状态修改影响，难以大规模回溯探索；现有合成方法常只提供单一路线或抽象效果描述，缺乏可连续搜索的结构化下一状态。只学习成功轨迹还使agent在部署偏离后缺少恢复策略。

Insight

若world model输出完整A11y状态，搜索算法就可以把它当作可分支的transition backend，反复比较多种动作并保留失败邻居。训练价值不仅来自最佳路径，也来自同一父状态下失败与成功分支的关系；不过模拟器的系统性错误仍可能污染这些关系。

Method

1. 先用探索agent在目标网站记录观察、动作、下一观察triplets，训练LWM预测click、type、hover、scroll等操作后的A11y结构与内容，作为后续policy交互的模拟环境。
2. WebMCTS按UCB选择节点，每次扩展至少三个不同候选动作，由world model生成下一状态并由reward model估值；用URL到状态的cache复用预测，再按访问次数加权向祖先回传value。
3. 剪除冗余或无意义分支，用DFS找超过value threshold的节点并提取root-to-node轨迹；对成功路径的失败兄弟分支构造失败状态→父状态→正确分支的rollback样本，教授go_back与恢复。
4. 先训练dense captioning、element functionality及state transition等UI理解任务，再做behavior cloning；以约7900条搜索轨迹训练7B/14B模型，在选定WebArena、WebVoyager子集及完整Mind2Web-Online上测试。