CoEvolve: Training LLM Agents via Agent-Data Mutual Evolution

Idea

CoEvolve 把 agent RL 与 training-task generation 接成闭环：从当前 policy 的 rollouts 中识别 forgetting、boundary 和 rare interaction signals，用这些信号引导 LLM 重新探索环境，再把探索结果抽象为可执行任务，验证后加入训练集。Policy 改进与数据分布更新交替进行，持续针对 agent 的薄弱行为补充训练机会。

Research Problem

固定的人写或一次性合成数据无法跟随 policy 的能力变化，容易遗漏复杂交互和 long-tail action patterns。单纯扩充随机合成任务也未必覆盖当前最需要学习的区域。论文研究如何从训练反馈中定位弱点，并通过真实 environment interaction 产生新的 task specifications，而不只重复已有 query 或改写失败答案。

Insight

Rollout 不仅提供 policy reward，也可以作为决定下一批训练内容的诊断信号。Forgetting 指向能力退化，boundary 指向成功不稳定，rare patterns 指向覆盖不足，三者用于改变 exploration 的方向。Environment validation 降低不可执行任务的比例，但正文也保留未完全成功却获得 positive reward 的任务，因此 validated 不应被理解为每个 synthetic solution 都已经完整正确。

Method

1. 初始化与 RL：让 LLM 无指导地探索环境形成初始 synthetic task set；对每个任务采样一组 trajectories，用 outcome reward 与 GRPO 更新 policy，同时保存训练行为记录。
2. Weakness signals：检查近期成功后当前失败的 forgetting cases、同一 policy 下同时出现成功与失败的 boundary cases，以及累计出现频率较低的 action patterns；一个 trajectory 可以触发多种信号。
3. Guided re-exploration：LLM 读取带信号的完整 interaction history，反思失败或不稳定原因，构造 exploration context；从同一 context 开始多轮、多步环境探索，收集带 rollout ID 的 action-observation triplets。
4. Task evolution：将相关 triplets 聚合为 task query 与 plausible solution，通过环境执行检查；成功或获得 positive environment reward 的候选被保留，更新训练分布。实验在 AppWorld 和 BFCL 比较静态数据、随机探索和 feedback-guided generation，并消融三类 signals。