SynthAgent: Adapting Web Agents with Synthetic Supervision

Idea

SynthAgent围绕新网站自动生成任务和执行轨迹，并将任务修订与轨迹清理分成两个环节：执行中只在发现冲突时改正任务，结束后再按最终目标清理历史噪声。配合按功能类别探索网页，它提供无需人工标注的website-specific监督数据来适配开源web agent。

Research Problem

随机GUI探索会反复访问密集区域，单次状态变化反推的任务又可能虚构不存在的选项。持续在每一步改写目标虽可避免卡住，却容易改变意图、拉长轨迹；即使最终完成，早期围绕旧任务的动作与无效浏览仍会成为错误的imitation targets。

Insight

探索覆盖、任务可行性和轨迹学习价值是不同问题。功能分组可改善覆盖，观察触发的局部修订可对齐真实网站，而全程结束后的global context能识别对最终任务无用的前缀和重复步骤，因此两次refinement分别解决目标错误和示范噪声。

Method

1. 按页面结构将按钮、输入、link等分为语义功能类别，每类均匀采样最多两个未访问元素，记录前状态—action—后状态triplet并维护URL pool；根据真实变化提出更高层、多步可完成的任务。
2. 执行中检测目标元素不存在、关键参数缺失或stall；stall包括连续no-op和重复导航/错误循环。触发后由LLM补细节、对齐实际观察或缩小目标，同时尽量保留原任务类别。
3. 完成后将最终task与整个trajectory交给LLM，离线执行Remove、少量保守Reorder、Drop或Keep，去除失效任务前缀和冗余操作；这一阶段不再次与环境交互。
4. 把精炼后的task-trajectory拆成逐步next-action监督样本，使用过去观察与动作作为context，对开源agent做SFT；历史窗口设为三步以控制训练成本和推理延迟。