No More Stale Feedback: Co-Evolving Critics for Open-World Agent Learning

Idea

ECHO 让 policy 与生成自然语言反馈的 critic 在同一批 on-policy trajectories 上同步学习。每条初始 trajectory 获得多份 critique，policy 分别据此重新尝试；critic 按这些反馈带来的实际 reward 增益受训，policy 则学习高质量的 refined trajectories，从而避免冻结 critic 的诊断逐渐脱离 agent 当前能力。

Research Problem

Critique-guided RL 希望把稀疏 outcome reward 转成可操作的修正建议，但 policy 在训练中不断改变，主要 failure modes 也会漂移。早期训练后冻结的 critic 可能持续指出 agent 已解决的问题，无法定位后期细微错误。另一个问题是临近 reward ceiling 时，同样幅度的提升更难获得，线性增益可能弱化这些反馈的学习信号。

Insight

Critique 的质量应由它对当前 policy 的修正效用定义，而不是只由解释看起来是否合理定义。因此 critic 需要与 policy 同步更新。ECHO 的 saturation-aware gain 进一步提高高分区域改善的权重；这是作者选择的 reward shaping 假设，并非对真实任务难度的直接测量，其效果仍依赖外部 reward 是否可靠。

Method

1. Cascaded rollout：policy 先针对 query 生成初始 trajectory，外部 reward model 给出 baseline score；critic 读取 query、trajectory 与分数，独立采样多份 score-aware diagnoses。
2. Conditional refinement：将每份 critique 加入 query，分别由 policy 生成新的 trajectory 并评分，形成一组 critiques 和一组对应 refinements，为两个模型提供相互关联的训练样本。
3. Critic reward：用 log((1 − initial score + η) / (1 − refined score + η)) 表示 saturation-aware gain；提升得到正反馈，退步得到负反馈，相同绝对增益在高分区域具有更大权重。
4. Dual-track GRPO：policy 按 refined scores 计算 group-relative advantages，critic 按 gain rewards 计算自己的 advantages；二者使用 clipping 与 KL constraint 同步更新。实验覆盖 WebShop、ALFWorld、SciWorld 和 DeepSearch，并分析训练阶段间的 failure-pattern drift。