Lost in Execution: On the Multilingual Robustness of Tool Calling in Large Language Models

Idea

MLCL 将 multilingual tool calling 作为语言输入与固定执行接口之间的诊断问题，系统改变用户 query 的语言组成和措辞，同时保持 English-only tool schemas 不变。论文细分语义理解和参数语言规范，揭示选对工具、理解意图仍可能输出不符合接口约定的参数值。

Research Problem

英文中心的 function-calling benchmark 难以暴露多语言用户与共享 API 之间的边界问题。总体准确率又会把中文地名的正确翻译、真正错误实体和不合法函数结构混在一起，无法判断失败发生在 understanding、tool selection 还是参数表面形式。

Insight

自然语言语义等价并不自动满足特定工具的执行规范；在严格 English-only 接口下，把用户语言直接带入参数可能造成失败。通过保留英文参数但翻译外围句子的 partial translation，可以把多语言理解压力与参数语言转换压力部分分离，再用错误 taxonomy 识别各自贡献。

Method

1. 选择 BFCL V4 的 single-turn multiple-candidate-functions 子集，保持 function names、parameter keys、tool descriptions 和评判规则固定；只把 query 扩展到中文、Hindi、Igbo，与 English reference 对照。
2. 构造 NT 原英文、FT 全翻译、PAR 保留 ground-truth 参数英文的混合输入；再加入 paraphrase 和 synonym substitution 两种语义保持扰动，形成交叉诊断条件。翻译和扰动由 GPT-5 生成并经人工核查意图一致性。
3. 沿用严格 function/key/value matching，再将错误拆成 syntax、function-level、非英文值的语义错误/相关但不正确/意义正确，以及英文参数的相应表面差异，报告错误组成而非仅总分。
4. 在不改模型权重的情况下比较显式英文参数提示、query pre-translation 和参数 post-translation；检查这些 intervention 是否减少 language mismatch，以及剩余差距是否仍来自实体或精确表面形式，论文观察三者都未完全恢复英文水平。