Don’t Act Blindly: Robust GUI Automation via Action-Effect Verification and Self-Correction

Idea

VeriGUI让GUI agent在每步行动前显式检查上一动作是否产生预期视觉效果，以Thinking–Verification–Action–Expectation循环连接行动、效果预测和失败恢复。训练把正常轨迹与合成的无变化失败轨迹混合，再通过对虚报成功更重的惩罚强化自我检查。

Research Problem

现有GUI agents常隐含假设发出的动作都会执行，遇到网络延迟、渲染或系统干扰时可能继续错误计划，或反复点击同一无效目标。在线RL成本高，离线数据又通常只包含顺利完成的示范，缺少“已经尝试但没有产生效果”这种恢复所需的经验。

Insight

上一时刻的expected effect可以成为下一张截图上的具体检查假设，使失败不再只靠最终任务结果暴露。通过旧截图与声称已经执行动作的历史配对，可低成本制造视觉上可辨别的NO_CHANGE样本；对误报成功施加更强惩罚则改变模型过度乐观的验证倾向。

Method

1. 每步输出结构化thinking、对上一步的SUCCESS或NO_CHANGE判断、可执行JSON action及下一步预期效果；失败时推理标签转向Diagnose和Recovery，再提出修正行动。
2. Robust SFT混合成功样本及合成失败样本：后者保留执行前截图、附加已执行的历史，目标要求识别无变化并生成修正动作；GPT-4o为两类样本生成结构化CoT及效果参考。
3. 在离线混合数据上采样多条response，用GRPO优化复合reward：action与ground truth比对；只有动作正确时才计算预测效果与参考的BERTScore；verification正确得正奖励，漏判与虚报成功分别受不同强度惩罚。
4. 使用group-normalized advantage、token级clipped objective及reference KL约束更新3B/7B模型，在AndroidControl等离线数据以及MiniWoB++、AndroidWorld在线环境评估，并另构造失败识别与恢复测试。