ToolPRM: Fine-Grained Inference Scaling of Structured Outputs for Function Calling

Idea

ToolPRM 将 structured function calling 拆成函数选择、参数名称和值填充等 intra-call 决策，训练逐步评分器并指导 beam search。与对完整调用作 Best-of-N 相比，它在错误尚未扩展成整条 JSON 时即可筛掉不良前缀。

Research Problem

现有 inference scaling 主要针对自由文本推理，工具调用通常把整轮输出视为单一评价单位，无法定位错误源于 function selection 还是 argument filling。在自回归 JSON 生成中，已写错的名称或参数往往无法靠后续 token 修复，持续保留错误 beam 会浪费预算。

Insight

结构输出有自然可检查的语义边界，可将它们变成 process supervision。作者发现更适合的预算分配是每步多探索、只保留少量高分前缀，而不是长期维持大量路径；该原则针对固定前缀的结构解码，不能外推到允许编辑或回滚的所有工具 agent。

Method

1. 从 xLAM function-calling 与 irrelevance 数据出发，随机替换 function/parameter identifiers 保留 descriptions，使用 Hammer policy rollouts 增加依赖语义而非记忆名字的候选。
2. 按可接受 gold calls 作 exact-match 标注，提供 FUNC_NAME、ARG_VALUE、PARAM_FINISH、FUNC_FINISH、TOTAL_FINISH 五种 binary labels，兼顾局部参数与调用/整轮完成层级。
3. 将生成过程表示为 initial、function selection、parameter-name selection、value filling 和 terminated states，以当前 query、schema、partial call 为输入，训练 LLM 预测正负标签 tokens。
4. 推理时每个保留前缀扩展 M 个后续步骤，以正负标签 logits 的归一化正例概率打分，只保留 top-N candidates，循环到结构化响应结束。
5. 在 reward-model held-out 数据比较逐步预测，并在 BFCL/ToolAlpaca 检验 test-time scaling；分析不同 expansion 与 retention budget，验证更宽探索、较窄保留的配置效果。