GTR-Turbo: Merged Checkpoint is Secretly a Free Teacher for Agentic VLM Training

Idea

GTR-Turbo 将 agent 在持续 RL 训练中保存的历史 checkpoints 合并为 teacher，用它替代外部昂贵 VLM 的逐步 thought guidance。Merged teacher 与 student 同源，通过 SFT 或 soft-logit reverse-KL 两种路线提供密集推理约束，并随训练继续更新。

Research Problem

多轮视觉 agent 的环境 reward 稀疏、credit assignment 长，纯 RL 可能出现重复且贫乏的 thought collapse。GTR 等引入强教师能缓解，但在线逐步 API 调用成本高、慢且受外部模型可用性约束，小教师又可能无法生成可靠指导。

Insight

同一训练轨迹上的历史模型保留不同阶段经验，其权重合并在作者实验中比瞬时 checkpoint 更平稳，可形成无需额外训练的新指导者。通过分布级约束保留更丰富的 token 概率信息，还能省掉教师逐 token 自回归生成和单独 thought dataset。

Method

1. 每次 RL 更新保存 checkpoint，构建历史 buffer。采用 TIES：保留幅度较大的参数变化，选定各参数主导符号，仅平均符号一致的变化以减少干扰，并比较 SMA 与更偏向近期模型的 EMA 权重。
2. SFT variant 在 student 根据 observation 生成 thought/action 后，让 merged teacher 在相同上下文产生 reference thought，存入 replay buffer；PPO 更新时叠加 thought token 的 supervised loss，并配合 format reward 和 DAgger。
3. KL variant 对 student 已生成的 thought 做 teacher parallel forward，估计 token 平均 reverse KL，将其作为负的辅助 thought signal 调整 PPO advantage；处理采样 KL 估计的负值，以免产生方向错误的奖励。
4. 从 SFT 初始化 Qwen2.5-VL-7B，在 Points24 与 ALFWorld 多步环境中比较纯 PPO、外部教师 GTR 和两种 self-guided variants，同时跟踪 success、episode return、训练稳定性及时间/计算开销。