Don’t Adapt Small Language Models for Tools; Adapt Tool Schemas to the Models
Idea
PA-Tool 将适配方向从微调 small language model 转为重命名 tool schema:让目标模型依据功能描述多次生成 tool/parameter names,选择输出分布中局部最密集的候选,并建立原名到新名的映射。整个流程不更新模型参数。
Research Problem
SLM 即使看到可用 schema,仍会生成语义合理但实际不存在的名称,或识别错参数。常见改进重在训练模型、优化 description 或积累调用历史,尚未直接解决给定接口命名与模型熟悉表示之间的 mismatch。
Insight
作者假设预训练中熟悉的命名模式会在反复采样中形成高 peakedness 区域;按近似字符串的局部密度选择,比仅取 greedy 输出或完全相同字符串的频次更能捕捉稳定命名习惯。这是由生成分布推测 familiarity 的代理信号,并非直接检查预训练语料。
Method
- 逐个提供工具或参数的功能描述,按非零温度采样 N 个候选名,并另以 greedy decoding 获得 tie-breaking reference name。
- 计算候选间 character-level Levenshtein distance,以最长候选长度乘 alpha 作为阈值;每个候选的 peakedness 为阈值内其他候选数量。
- 选择最高 peakedness 名称,平局时取与 greedy reference 编辑距离最小者;遍历 schema 层级形成命名映射,跨工具重名用 priority-based locking 处理。
- 主要设置采样三十二次、temperature 0.4、alpha 0.2;在 MetaTool 的 selection/reliability/multi-tool 与 RoTBench 的 selection/parameter identification 上,以相同目标模型比较原 schema、greedy、most-frequency 及人工重命名。
Sources & Reading Scope
阅读依据:官方 PDF 正文。核读页码按 PDF 页序计数,可能与 proceedings 页码不同。
核读章节:Framework Overview · Stage 1: Candidate Generation · Stage 2: Peakedness Computation · Stage 3: Schema Selection · Experimental Setup
核读候选选择公式、重名处理说明和评估设置;pretraining alignment 是作者假说和操作性代理,未声称已定位具体训练样本。