Beyond the Context Window: Scaling Agentic RL via End-to-end Optimized Context Compression

Idea

SUPO 把 context summarization 纳入代理自身的决策与 RL 优化，使同一模型同时学习工具行为和保留任务信息的压缩策略。长 rollout 被分为多个受限上下文片段，最终结果奖励贯穿这些片段，因此训练可以跨越固定 working context window。

Research Problem

长时工具任务持续积累历史和 observation，导致指令跟随下降、rollout 成本增大并触碰上下文上限。推理时临时接入摘要虽可继续执行，但摘要未针对终局任务回报训练，可能丢失关键状态；现有 RL infrastructure 又通常假设一次 rollout 对应一个连续完整上下文。

Insight

摘要本身是会影响未来决策的 action，其生成概率应与工具动作共同进入 policy gradient。把轨迹按摘要边界拆成标准训练片段，并共享同一 rollout 的终局 advantage，就能使用现有 RL 系统优化“做什么”和“记住什么”，而不需要为摘要单独定义质量标签。

Method

1. 当当前上下文达到 threshold L 时插入 summarization prompt，由当前 policy 生成摘要；下一段上下文重置为原始任务提示与最新摘要，然后继续工具交互，直至答案或步骤/摘要次数限制。
2. 根据 summarization-augmented MDP 推导 policy-gradient 分解，将一次 rollout 表示为多个以旧摘要开始、以新摘要结束的 complete trajectories，累计工具 reasoning 与摘要 tokens 的梯度。
3. SUPO 使用 GRPO-style clipped objective；同一原始 rollout 的所有片段共享基于 rollout group 归一化的终局 advantage，避免多摘要轨迹在 group 统计中被重复加权。
4. 屏蔽达到最大步骤或摘要次数仍未回答的 overlong rollouts，避免误惩罚有用的长时摘要策略；在 CodeGym 与自行划分的 BrowseComp-Plus 上比较固定工作窗口下的成功率，并考察测试时增加摘要轮数的扩展。