Why Do LLM-based Web Agents Fail? A Hierarchical Planning Perspective

Idea

论文用 hierarchical planning 把 web agent 失败拆成 high-level planning、low-level execution 和 replanning 三层，并以人工对齐的 subgoals 作为诊断参照。研究重点是区分策略本身不合理与策略正确但无法落地，进而比较 natural language 与 PDDL 表示的作用。

Research Problem

只看最终任务成功率会混合指令理解、目标分解、UI grounding 和恢复失败，无法判断改进高层推理是否真正触及瓶颈。不同 agent 框架的内部组件也不一致，缺少能在统一环境中分别测量这些基本能力的分析方式。

Insight

固定正确的高层计划后，执行失败可以更直接归因于感知和控制；再加入一次基于实际探索反馈的重规划，则能测量恢复能力。显式 preconditions/effects 的 PDDL 可能使目标更精炼，但计划形式更好并不自动保证执行更可靠。

Method

1. 扩展 Mind2Web-Live 的 104 个 live-web tasks，将 expert key-node annotations 转为高层步骤，并人工核对语义、顺序、遗漏和粒度，形成 oracle plans。
2. 分别让模型产生 NL 或 PDDL 高层计划，用 LLM judge 对照人工步骤统计 perfect/partial/missing/decomposed/unmatched/matched 等对齐情况，并比较对应计划的可执行性。
3. 低层 executor 把每个 subgoal 转成 UI actions，postcondition checker 根据页面与历史判断完成；记录 subgoal completion、整计划完成、动作数和原始任务成功率。另使用 oracle plans 隔离执行能力，比较完整 action specification 与枚举 action ID。
4. 执行失败后让 replanner 判断原计划是否可挽救，选择从当前状态局部调整或整体重建；分析仅限一轮 replanning。以三种模型测试共享趋势，并通过部分人工复核检验 LLM judgments。