Empowering GUI Agents via Autonomous Experience Exploration and Hindsight Experience Utilization for Task Planning

Idea

PEEU 先让 Agent 自主探索网站，再从实际状态变化归纳 hindsight experience，重写与已执行轨迹一致、约束更具体的高层任务，用这些任务训练小型 MLLM 的规划能力。另以 TDHAF 分析原子、子任务和高层任务之间的组合泛化。

Research Problem

从首页生成的粗任务可能要求轨迹没有满足的条件，而只训练单步 atomic skills 又未必教会模型长程组合。把失败探索仍绑定原指令会产生错误监督，直接检索经验到小模型上下文也不一定转化为规划能力。

Insight

实际前后状态比最初愿望更能说明轨迹完成了什么；将轨迹回标为确实完成的高层任务，可利用原本错配的数据，并保留跨步约束。作者的泛化实验支持高层任务训练的价值，但不是证明任意低层技能都能自动组合或所有检索方案均无效。

Method

1. 给定 URL，GPT-4o 读取首页，自主生成任务列表并逐题交互，最大探索深度 15；把共享首页的观测—动作轨迹组织为 exploration tree。
2. 逐步比较动作前截图、动作和后截图，提取 atomic experience；将一条轨迹的经验聚合，去除低层操作描述，生成符合实际结果且包含可见条件的高层 PEEU task。
3. 以重标任务、当前状态及历史预测下一动作，分别进行 SFT 或 GRPO。附录的 RL reward 包含 WebVoyager 动作格式正确性和答案正确性两项，各为 0/1。
4. 在 Qwen2.5-VL-3B/7B 上控制数据规模与参数，对比原粗任务、atomic task 和两种经验检索 prompt。约 0.1k 数据来自 Allrecipes，2k 补充来自与七个测试网站互斥的来源，按 WebVoyager trajectory success 评估。
5. TDHAF 将任务分 low/mid/high 三层，分别训练低层测试高层、训练高层测试低层，以及跨网站多层测试，区分 ID bottom-up、ID top-down 和 OOD compositional generalization。