A Goal Without a Plan Is Just a Wish: Efficient and Effective Global Planner Training for Long-Horizon Agent Tasks

Idea

EAGLET 训练一个独立 global planner，为冻结的 executor 提供高层计划。它先从已有 trajectories 合成 plans，并用能力不同但同源的两个 executors 检查计划是否有帮助，再做 cold-start SFT；随后以计划带来的 executor capability gain 和交互效率为 reward，通过 GRPO 改进 planner。

Research Problem

仅在每一步做局部 reasoning 容易陷入重复试错，手写 global plans 又难以迁移和规模化。直接用 executor 最终成功奖励 planner 也存在混淆：强 executor 可能在坏计划下仍完成任务，弱 executor 又可能无法兑现合理计划。论文研究如何把 plan 本身的增益从 executor 固有能力中区分出来。

Insight

Plan quality 应通过有无计划的 paired execution 比较，并跨不同能力的同源 executor 验证，而不只看一次最终成功。共享 backbone/architecture 可以减少部分模型差异，但不能消除 rollout 随机性。正文 ECGR 公式先要求 completion rate 严格提高，再乘交互长度因子；因此按公式，两次同样成功仅缩短轨迹并不会产生该项增益，需与文字中的效率表述区分。

Method

1. Plan synthesis：向强 reasoning LLM 提供 task instruction、已有 trajectory 和 one-shot plan example，生成 high-level plan 与相应 reasoning，形成候选 SFT 数据。
2. Homologous Consensus Filtering：选 expert/novice 两个同预训练来源、同架构但 post-training 能力不同的 executors，各自执行有计划与无计划两种条件；若计划损害任一 executor 的 completion rate，则剔除。
3. Planner RL：每个任务采样多个 plans，以两个 executors 的严格 completion gain 指示值乘长度因子后求和，再加 <think>/<plan> format reward；GRPO 只更新 planner，executors 保持冻结。
4. 使用与验证：推理时先生成一次 global plan，将其与 task instruction 共同交给 executor 的交互 loop；在 ScienceWorld、ALFWorld 和 WebShop 检查任务表现、交互成本及不同 executors 的适用性。