R2IF: Aligning Reasoning with Decisions via Composite Rewards for Interpretable LLM Function Calling

Idea

R2IF 用复合奖励让 function calling 的解释真正支持最终决策：除了格式与调用正确性，还衡量 reasoning prefix 是否提升 student 的调用成功率，以及是否明确说明参数 specification、modification 和 value。它把可解释性落到工具 schema 与参数构造过程，而非奖励更长的 CoT。

Research Problem

只用 AST 或最终调用准确率的 RL 可能产生与决策脱节的解释：模型说对工具名，却忽略参数格式、默认值或必要转换。另一方面，无约束的 reasoning reward 容易鼓励表面合理的文字，甚至牺牲严格参数精度，因此需要把过程信号与可验证动作绑定。

Insight

有用推理应对后续正确调用产生增益，并覆盖导致参数值的约束与转换。用相同 student 在有无指定 reasoning prefix 时的成功率作比较，可评价该前缀的辅助价值；只在精确匹配的 calls 上计入参数解释分数，可减少错误工具因解释漂亮而获奖。

Method

1. 每次 rollout 输出一个 reason block 和随后一个 tool block；Binary Reward 同时检查严格格式和 ground-truth action list，拒用场景检查预定义拒绝输出，最终聚合时提高其权重。
2. CER 预计算经过 faithfulness 训练的 student 的基线成功率，再固定当前 reasoning prefix，让 student 多次续写 tool calls，以成功率增益作为 CoT Effectiveness Reward。
3. SMV 将 reasoning 解析为各调用各参数的解释片段，与 LLM 生成的 specification/modification 参考文档做带阈值的语义相似度比较，同时检查参数值是否出现在匹配的调用中，按参数和调用归一化。
4. 在 ToolACE 筛选的平衡训练子集上，以格式/正确性、CER 和 SMV 的复合奖励进行 GRPO；通过 BFCL、ACEBench 的调用表现及 CoT effectiveness 指标检查决策与解释的一致性。