Do LLMs Know Tool Irrelevance? Demystifying Structural Alignment Bias in Tool Invocations

Idea

该研究识别 Structural Alignment Bias：即使工具语义无法满足目标，只要用户属性恰好能填满其参数，模型仍倾向调用。作者用 SABEval 解耦语义相关性与参数结构匹配，再以 Contrastive Attention Attribution 分析并干预两类竞争的信息通路。

Research Problem

现有 irrelevant-tool 测试往往随机配对问题与工具，使语义不相关和参数无法匹配同时出现；模型可能仅凭结构不匹配拒绝调用，因此低错误率并不证明其理解工具功能。需要单独测量“参数能填、功能却不对”的情况，并解释为何模型采用这个捷径。

Insight

合法参数映射只是调用格式条件，并非实现用户目标的充分条件。语义检查倾向抑制错误调用，结构匹配则推动格式化调用；若后者占优，增加可填写参数反而强化错误。将两类条件分别做 counterfactual 干预，有助于从相关性分析推进到可检验的机制解释。

Method

1. 从工具模板实例化同参数但不同服务目标的 sibling tools，为各服务生成完整属性查询，再跨 sibling 配对，形成没有有效工具的 SABEval；扩展版本逐个增加 attribute-parameter 对，以控制结构对齐强度。
2. 比较随机配对与结构对齐样本的 tool invocation rate，并通过替换、删除或增加参数破坏结构匹配，保持用户查询及工具功能，用于测量结构因素的行为影响。
3. CAA 以 attention weight 零消融的 metric 变化为目标，用梯度近似计算重要性，再按输入 span 聚合；对语义或结构 counterfactual 的归一化重要性取差，定位 semantic checking 与 structural matching pathways。
4. 在不重叠工具模板划分上增强语义通路、抑制结构通路，验证集选择 scaling coefficients；同时测试 SABEval 错误调用和 ACEBench 正常工具能力，检查干预是否只造成一概拒用。