Anchor: Branch-Point Data Generation for GUI Agents

Idea

Anchor 从少量验证过的桌面轨迹中寻找 branch points，在已经到达的 GUI 状态提出可执行的新目标，复用可靠前缀并生成不同后缀。再通过任务相关的 reasoning filtering 和意图一致性检查，把扩增轨迹转成较干净的训练监督。

Research Problem

人工 desktop demonstrations 成本高，纯任务合成容易目标与界面不匹配，开放式探索则常产生短而零散或长而漫无目的的操作。轨迹整体被判成功也不意味着每一步都适合模仿，尤其共享前缀的理由可能属于原任务而非新的分支目标。

Insight

新窗口、面板或内容出现时，界面已经暴露一组真实 affordances，是扩展任务比从零想象更可靠的起点。同一动作序列可以服务多个用户目标，因此监督应重新解释该动作对当前任务的作用，并用实际前后截图排除无法 grounding 的解释。

Method

1. 从 OSWorld 的 117 个和 WindowsAgentArena 的 51 个任务环境收集候选成功轨迹，人工核验完成情况、效率与副作用，保留可靠且较短的 seed。GPT-5.1 每条选 3–5 个显著 UI 变化点。
2. 对 branch prefix 总结进度，结合当前截图提出新任务；恢复环境到该状态，由 GUI agent 执行。若动作或环境与任务细节不一致，允许把任务改写为可行且语义接近的目标，再总结整条轨迹并验证最终状态。
3. 对共享前缀的每步，按后续任务采样 10 个 action–reason 候选，检查动作是否匹配日志及截图变化，只保留有支撑的 reasoning。对分支后每步检查意图与视觉变化的一致性，剔除噪声监督但保留后续有效步骤。
4. 形成 1,777 条 Ubuntu/Windows 成功轨迹用于 fine-tuning，并在两个桌面 benchmark 评测。另随机人工审查 100 条自动接受轨迹，87 条判断一致，用于估计自动 verifier 的可靠性。