LoopTool: Closing the Data–Training Loop for Robust LLM Tool Calls

Idea

LoopTool 把 tool-call 数据生成与模型训练闭合成迭代循环：训练后用当前模型探测失败，判断错误来自预测还是旧标签，修正监督并围绕已验证弱点扩展新数据。数据内容随模型能力变化，而不是一次生成后固定使用。

Research Problem

静态合成数据会重复训练已掌握的样本，遗漏新暴露的系统性缺口；较廉价生成器的错误参数或标签又会长期保留。GRPO 在全部正确或全部失败的组上缺少优势差异，因此单纯扩大固定数据集并不能保证更有效学习。

Insight

当前模型与旧标签的分歧同时是能力诊断和数据审计入口。用 judge 比较两种已有候选而非直接重生成标签，可让越来越强的策略反过来纠正监督；再保留结构难点并变化情境，将一次失败转化为覆盖更广的训练需求。

Method

1. 初始数据将 context tree 与 constraint tree 组合生成 APIs，另收集公开工具；Planner、User、Assistant、Tool 四角色模拟对话，经 schema/rule checks 和 Qwen3-32B contextual judge 双重验证。
2. 把多轮对话拆成 available tools、history、gold call 的单轮 GRPO 样本，以 AST 层 function name 与 argument values 严格匹配作为 binary reward。
3. Greedy Capability Probing 对当前数据确定性解码，识别 mastered 与 mismatched cases，并保留部分高 perplexity 样本作为下一轮材料。
4. JGLV 将分歧判为 prediction wrong、label wrong、both correct 或 both wrong；分别保留重训、用预测修正标签、按 PPL 选择或丢弃，并记录错误分析。
5. EDDE 根据工具、上下文、正确/错误调用与错误原因生成结构相似但情境多样的新样本，再次验证；合并 error seeds、扩展数据、高 PPL 与未训练 seed subset，继续下一轮 GRPO。