Learning from the Irrecoverable: Error-Localized Policy Optimization for Tool-Integrated LLM Reasoning

Idea

ELPO 从失败轨迹中定位首个在当前采样预算下不可恢复的步骤，再围绕该位置分配信用和强化纠错更新。它利用 binary-search rollout tree 把终局奖励转为局部分支对比，避免将整条失败链上所有行为视为同等有害。

Research Problem

长时 TIR 的工具空间大、决策相互依赖，单一终局奖励既稀疏又延迟。一般树搜索或逐步 advantage 仍可能把惩罚扩散到无关步骤，无法指出从哪里开始后续无法救回；即使定位错误，统一 clipping 也可能限制关键错误部分的修正幅度。

Insight

固定一个轨迹前缀并重采样后缀，可以估计该前缀是否还有成功延续。二分寻找成功可恢复与失败不可恢复的边界，使搜索集中在关键步骤；局部分支比较与完整轨迹排序结合，则兼顾因果邻近的对照和全局结果信号。

Method

1. 从近期失败 buffer 中，按工具反馈后与初始回复的 entropy gap 选一条信息量较大的失败轨迹。对中间 anchor 固定前缀、采样后续：有成功则向后半区搜索，否则向前半区搜索，逐步定位首个 irrecoverable step。
2. 根据 anchor 的 post-tool entropy 相对初始 entropy 分配后缀采样数，控制总预算；二分减少 anchor probes，但每个 probe 仍包含若干 rollout。
3. 以叶节点 outcome reward 递归平均得到节点价值，在 sibling branches 间归一化获得局部 advantage；同时对同题完整 trajectories 排序归一化，将经过节点的全局优势取平均，再加权组成 hierarchical advantage。
4. Error-Localized Adaptive Clipping 降低关键步骤及后缀 tokens 的 ratio 下界，让负优势错误行为获得更强抑制，上界保持不变；将该 clipping 与 hierarchical advantage 放入 GRPO-style loss，屏蔽环境反馈 tokens。