Empowering Multi-Turn Tool-Integrated Agentic Reasoning with Group Turn Policy Optimization

Idea

GTPO 将多轮 tool-integrated reasoning 的 RL 信号从整条 trajectory 下沉到 turn：每轮分配格式 reward，终局给答案 reward，再以 discounted returns 计算 turn advantages；对最终错误但代码接近成功样本的轨迹提供部分奖励。目标是缓解 GRPO 在多轮交互中的稀疏反馈和训练停滞。

Research Problem

传统 GRPO 将相同的终局 advantage 广播到所有 tokens，但多轮 TIR 会根据 tool execution 改写后续推理，同一轨迹中不同轮次贡献不同。二值成功/失败还把含有部分可用代码的失败轨迹全部视为零收益，使有限 rollout 中的过程信息难以被利用。

Insight

每轮以已有历史作为 state、生成的 reasoning/code 作为 action，更符合 agent 的交互结构；reward-to-go 能表达当前决策与后续结果的时间距离。成功组的代码还可形成自监督参照，为失败组提供较弱的学习方向，不过 embedding 相似性只是假设性的部分正确代理，不是执行语义证明。

Method

1. 将 trajectory 分成 reasoning、code、tool feedback 交错的 turns；非终局 answer reward 为零，最终答对给一，出现格式错误的当前 turn 给予负奖励，取代整条轨迹统一格式判定。
2. 从每轮向后累加折扣 reward 得到 return，再把同题所有 sampled trajectories 的全部 turns 汇入同一个均值/标准差池进行 normalization；每个 turn 内 tokens 共享该 advantage，用 clipped policy objective 更新。
3. 按最终答案区分 positive/negative trajectories，连接各自全部工具代码并计算 embedding similarity；失败轨迹终局 reward 取与所有成功代码的平均相似度乘系数，正确轨迹保持一，无成功样本的组不进行这种 shaping。
4. 先从 ReTool-SFT 问题用 DeepSeek-R1 与 OpenHands 蒸馏并筛选 1.2K 正确轨迹，cold-start SFT Qwen2.5-7B；再在 DAPO-17K 上训练，使用 Titan embeddings、最多三轮且 KL 系数为零。相同数据和设置下与 GRPO 比较五个数学 benchmark，并补充非数学任务。