Robust Tool Use via Fission-GRPO: Learning to Recover from Execution Errors

Idea

Fission-GRPO 把当前策略产生的 tool-call 错误转换成新的 recovery contexts，并从每个错误重新采样一组修复尝试。普通 GRPO 与 corrective GRPO 在同一训练循环交替，让模型学习读懂执行反馈并退出错误重试循环。

Research Problem

小模型遇到参数或状态错误后经常重复无效调用，静态纠错数据又难匹配不断变化的策略错误。常规 RL 只给失败轨迹低分，同组全部失败时甚至没有有效相对优势，既缺少如何恢复的上下文，也可能连带压低原本有效的步骤。

Insight

错误不只是应惩罚的样本，还可成为带诊断信息的探索起点。以最近 on-policy errors 生成多条 recovery rollouts，可以在原本无差异的失败区产生更丰富的结果；这仍使用同一种 GRPO 损失，主要创新是条件化采样和训练分布的动态重构。

Method

1. 普通 rollout 以格式、function/argument correctness 和目标长度的 piecewise Gaussian reward 评分；训练随时间降低格式权重、提高语义正确性权重，先执行常规 GRPO。
2. 格式不合法或 correctness 低于阈值的轨迹进入错误分支；格式错误用确定性 parser-style message，语义错误由 SFT Error Simulator 根据 schema、history、错误调用及 gold call 生成 runtime-like diagnosis。
3. 将原上下文、失败尝试和诊断拼成 corrective context，可按上下文与错误哈希去重，写入 LIFO buffer 优先训练最近错误。
4. buffer 达到 batch 条件后，每个 corrective context 用当前策略采样多条恢复轨迹，在该 fission group 内重新计算相对优势并作 GRPO 更新；可对新失败递归执行此过程。
5. 在 BFCL v4 Multi-Turn 测恢复率与任务成功，并在 TAU/TAU2 的交互工具和用户模拟环境测试迁移；训练 simulator 用独立约两千条诊断数据，任务训练保留经多重审核的小规模样本。