WebSTAR: Scalable Data Synthesis for Computer Use Agents with Step-Level Filtering

Idea

WebSTAR 将强 CUA 的嘈杂 rollout 转成可用于 SFT 的逐步监督：先筛成功轨迹，再给每一步评分，只对高质量动作计算 loss，同时保留错误历史作为上下文。配套 WebSCORE 与 StepRM 将昂贵 grader 的判断蒸馏到较小多模态模型。

Research Problem

整条任务最终成功不代表中间动作合理；成功轨迹仍可能含误点、绕路或无效等待，直接 imitation 会学习这些错误。另一方面完全删除错误历史会改变真实恢复场景，因此需要把“作为条件的历史”与“作为监督的目标”分开。

Insight

SFT 本质上逐步预测下一 thought/action，数据过滤也应匹配这个粒度。保留先前失败而只监督其后的有效行为，可以学习恢复而不强化错误。作者的 thought augmentation 主要提高 Pass@4，表中部分 Pass@1 下降，因此不能概括为单次成功率始终改善。

Method

1. 对清理后的 OpenWebVoyager training queries 用 computer-use-preview 每题采样 16 条、最多 100 步轨迹；GPT-4o 按完整截图和动作判断任务成功，保留 13,338 条轨迹。
2. o4-mini 根据任务、历史截图/动作及当前目标 crop 分析状态和候选动作，再提出三个替代动作、比较预期效果，输出 0–10 分；替代效果是 grader 推演，并未实际执行分支。
3. 为原始 observation/action 补充 situation description、reasoning、actionable instruction 三部分 thought；训练保留历史全部文本和有限窗口截图，仅在 score>5 的步骤计算 thought/action 的 NLL。
4. 用 WebSCORE 的 200k 评分步骤训练 Qwen2.5-VL-7B StepRM，正负阈值两侧各占一半；在独立步骤池上比较两种 grader 筛出的数据对下游 SFT 的影响。
5. 以 7B/32B 学生在 WebVoyager、Mind2Web-Live、Online-Mind2Web 比较轨迹级与步骤级过滤、thought augmentation 和阈值，报告 Pass@1/Pass@4；无法访问或失效网站按实验时状态排除。