Action Boundary Blindness: When LLM Agents Cannot Tell Where One Action Ends and Another Begins

Idea

论文将 Action Boundary Blindness 定义为 agent 即使选对 action type，仍误判执行 granularity、scope 或 completion 的现象。它构建过程评价管线与 boundary-aware metrics，并用 Explicit Boundary Prompting（EBP）测试显式范围检查能否改善行为。

Research Problem

传统 task success、tool selection 或高层规划评价难捕捉“做多了”与“做少了”：例如正确选择删除操作却影响错误对象，或执行返还但漏掉必要步骤。单一 reference trajectory 又可能把合法替代路径误判为边界错误，因此诊断需要语义对齐与等价过滤。

Insight

动作的含义包含 preconditions、effects、affected entities 和 granularity，不只是操作名称。将这些维度与参考流程比较，可以揭示最终成功掩盖的过程偏差；若 explicit boundary cues 能改善表现，则至少部分问题可通过 elicitation 缓解，而不必全部归因于缺乏能力。

Method

1. 将 action boundary 表为 pre/eff/scope/gran，定义 granularity confusion、scope creep 与 start/end ambiguity。用 counterfactual substitution test 区分错误动作类型与正确类型下仍残留的执行边界问题。
2. 以语义相似度改造 Needleman–Wunsch 对齐 agent/reference sequences，识别 matches、insertions 和 deletions；再用 state、effect 和 native outcome equivalence 排除可识别的合法替代路径。
3. 明确案例用规则、模糊案例用 GPT-4 judge 分类；统计 ABS 的边界正确动作比例、GAR 的长度对齐、SVR 的范围错误，以及同时成功且 ABS 超阈值的 BASR，并通过人工审查和多标签归因校验。
4. 在 1,655 个跨 API、web、GUI、embodied tasks 上比较模型与 agent frameworks。EBP 加入范围/完整性指南、atomic/compound examples 和检查清单，分别消融提示组件并衡量性能及 token overhead。