Learning to Adapt: Self-Improving Web Agent via Cognitive-Aware Exploration

Idea

SCALE 让同一 web agent 分别扮演 Selector、Predictor 和固定 Judger，自主选择不熟悉动作、预测结果、实际执行并对照，再用预测失败经验更新选择与预测能力。SCALE-Hop 维护全局探索图，避免在少数网页区域不断重复试探。

Research Problem

依赖手工 task pipelines 或昂贵 expert trajectories 的训练容易限制网站和任务多样性。普通探索后逆向生成任务虽减少人工目标，却未主动区分已经理解的操作和知识边界，因而浪费大量交互于熟悉动作，还可能陷入局部页面。

Insight

对 action consequence 的预测错误可作为当前能力缺口的操作性定义。Selector 寻找能够让 Predictor 出错的行为，真实环境 transition 提供反馈，Judger 将失败转成解释。全局图与随机验证则判断何时局部已足够熟悉，应转向别处。

Method

1. 用 Set-of-Mark 编码 GUI 截图。Selector 根据 observation 选择陌生动作并解释理由，Predictor 预测执行后的结果和原因，随后在真实环境执行，Judger 比较前后 observation 与预测是否一致。
2. 若预测错误，Judger 生成实际结果及解释，保存 observation、action、选择理由和纠正标签。若正确则重置到原状态重新选动作，收集一批失败经验后分别 SFT Selector 与 Predictor，Judger 保持固定。
3. SCALE-Hop 用 observation 与 URL 形成节点、动作 transition 形成边；同 URL 用截图 SSIM 区分不同状态。局部停滞时随机选动作验证预测，全部正确才标 fully explored，并回退最近未完成节点。
4. 从 19 个真实网站的探索生成 SCALE-20k：逆向构建单步任务，从图中提取连贯多步路径生成任务与 reasoning，并为页面节点生成 comprehension QA，以不同监督形式训练下游 web agents。