MatchTIR: Fine-Grained Supervision for Tool-Integrated Reasoning via Bipartite Matching

Idea

MatchTIR 将 tool-integrated reasoning 的过程监督转化为 predicted 与 golden tool calls 之间的 bipartite matching，用有限的匹配信用区分有效、错误和重复调用。再结合 turn-level 与 trajectory-level advantages，使同一轨迹不同轮获得不同训练信号。

Research Problem

常规 outcome RL 只知道最终答案对错，trajectory reward 即使统计了工具质量，仍可能给所有轮次相同 advantage，错误调用和关键步骤一起被强化。逐个调用独立算相似度又允许重复调用同一正确工具刷分，因而需要全轨迹的信用分配约束。

Insight

gold tool trace 不仅提供局部标签，还定义一组有限的有效动作；通过全局匹配，一次专家动作的信用不能被任意复制。局部匹配收益与最终答案成功信号结合，既能学习工具细节，也避免仅模仿单步而忽略整条任务；这一监督依赖可用的 golden calls。

Method

1. 抽取预测与参考 tool-call sets，构造相似度矩阵：tool name 必须匹配，再计 parameter-name Jaccard 和 parameter-value exact matches，并按参数数归一化。
2. Hard assignment 用 Hungarian 最大权匹配实现一对一对齐，未匹配调用获得固定惩罚或零分；Soft assignment 将相似度转为 optimal transport cost，以受边际约束的 transport plan 分摊信用。
3. 同一 turn 的多个调用奖励取平均，避免靠数量增加收益；最后 answer turn 使用与 golden answer 的 F1 outcome reward。
4. 对各 rollout 的总奖励做组内标准化得到 global advantage；对每轮未来折扣奖励做组内比较得到 local advantage，将两者相加分配给该轮 tokens。
5. 在 GRPO clipped policy objective 中使用综合 advantage 并保留 reference KL，tool response tokens 屏蔽损失，因为它们来自环境而非策略。