HATS: Hardness-Aware Trajectory Synthesis for GUI Agents

Idea

HATS 把 GUI trajectory synthesis 的困难定义为 action 的 semantic ambiguity，并让探索与指令修订形成闭环。系统主动寻找依赖上下文、动作顺序或视觉区分的交互，再通过 instruction replay 检查能否还原原始行为，验证失败又反过来引导后续探索。

Research Problem

OS-Genesis 等先随机探索再 reverse-synthesize instruction 的方法容易重复简单行为，遗漏真实 GUI 中的语义歧义。即使采到困难动作，一次性写出的目标也可能缺 widget 标识、先决条件或导航背景，导致 instruction 和执行轨迹不一致，污染 SFT。

Insight

难度不仅来自 trajectory length，而来自相同动作需要多少上下文才能被正确解释。Instruction 重放能否恢复参考 action sequence 提供可测代理，较低 reconstruction recall 表明仍有语义缺口。它既用于修补监督数据，也作为搜索下一批高价值轨迹的信号。

Method

1. HD-MCTS 把 GUI states 与动作表示为 action tree，按 UCB 选择路径、扩展未访问动作、做 bounded-depth rollout；state 可包含 screenshot 与可选 UI tree，工具覆盖 tap、type、scroll、back、long-press、swipe。
2. 从 rollout 中挑选表达连贯用户意图的 reference subsequence，再反向生成 provisional instruction。重置到原起点让 Agent 仅依据该 instruction 执行，获得独立 replay trajectory。
3. 用 Action-Level Reconstruction Recall 比较参考动作是否在状态语境下被语义等价动作恢复。低于阈值或执行失败时补充缺失 context 后重试，预算内达到稳定对齐才将 instruction 与 replay 保存为 Verified Trajectory。
4. 将 recall 的反函数转换为 hardness reward，经 clipping 后沿 MCTS 路径回传到 edge value 和 visit count，使探索偏向难以对齐的区域。最终只有通过验证的数据进入 planning-level/action-level SFT，hardness 还用于训练权重。