See, Think, Act: Teaching Multimodal Agents to Effectively Interact with GUI by Identifying Toggles

Idea

State-aware Reasoning（StaR）专门训练 GUI agent 在 toggle 操作前比较当前与期望状态：先看开关现在是否开启，再解析用户想达到的状态，只有二者不同时才 CLICK，否则声明 COMPLETED。论文同时构建成对正负指令的 state control benchmark 来显式测量过度点击。

Research Problem

许多 agent 把“打开通知”直接映射为点击通知开关，即使当前已经打开，反而使状态错误。已有定位数据不能充分揭示这种 toggling bias，外部 parser 的状态提示也没有改善模型自身视觉状态理解；仅提醒关注状态的 prompt 效果有限。

Insight

Toggle 指令描述的是目标状态，点击只是可能的状态转换，二者不能直接等同。对同一截图构造需要点击与无需操作的相反指令，可以隔离状态依赖的决策能力；再把当前状态、期望状态和比较结果作为训练链，使 no-op 成为合法成功行为。

Method

1. 汇总 AMEX、RICOSCA、GUIAct、AndroidWorld、AITW 和 OS-Atlas 的截图与 boxes，并用 OmniParser 补充可点击元素。Qwen-2-VL-72B 与 GLM-4V 独立识别 toggle，核对 state 和 functionality，一致样本进入数据。
2. 从 40,918 个 screenshot–box–state–function tuples 各生成两条相反指令，一条标签 CLICK，另一条 COMPLETED，形成 81,836 样本及平衡 train/test。分别测 action type、坐标匹配、false positive 与 false negative。
3. 用 Perceiving→Analyzing→Deciding 三段改写 reasoning：识别当前状态 σ，推出目标 σ_u，再以 σ 是否等于 σ_u 决定动作。对通用 agentic datasets 仅改写涉及 toggle 的步骤，保留其他推理格式。
4. 以 toggle training split 联合 AndroidControl、AITZ、GUI-Odyssey 继续训练四种 agent，保持各自原始 prompt 和 action format；同时比较 prompting-only、静态任务泛化和 AndroidWorld 框架下 20 个动态 toggle 任务。