The Reasoning Trap: How Enhancing LLM Reasoning Amplifies Tool Hallucination

Idea

论文用 SimpleToolHalluBench 专门测试 agent 在缺少适用工具时能否 abstain，并追踪 reasoning enhancement 与 tool hallucination 的关系。研究将工具任务上的能力提升和无工具条件下的可靠性分开测量，发现二者可能同时向相反方向变化。

Research Problem

常规 tool-use benchmark 假定任务可解且所需工具存在，因而无法揭示模型捏造不存在工具或强用无关工具的倾向。已有更强 reasoning 与幻觉增加的观察也未区分 tool-data overfitting、RL 本身、显式思考和一般 instruction-following 退化等解释。

Insight

成功调用工具与知道何时不能调用是不同能力；只奖励可解任务的 reasoning，可能强化持续完成请求而非承认能力边界。通过无工具训练、同模型 thinking toggle 和匹配训练条件的 ablation，可以缩小替代解释范围；representation drift 与 residual-stream 可分性则为该失效提供相关性线索。

Method

1. 从 AgentSafetyBench 选 296 个工具并生成需要相应外部能力的 queries，建立 No-Tool-Available 与 Distractor-Tool 两种条件，所需工具均不提供；用 LLM judge 统计捏造工具/结果或误用 distractor 的比例。
2. 以 Qwen2.5-7B 在 SynTool 上复现 ReCall，沿 checkpoints 同时测 task reward 与 hallucination；再在不含工具的 GSM8K 上做 reasoning RL，并比较 R1-distilled models 与 Qwen3 thinking on/off，检查现象是否限于特定训练数据。
3. 保持数据、reward、optimizer 和 hyperparameters 相同，对比 direct tool-use RL 与要求 think-then-act 的 RL；另测 IFEval、ComplexBench 和 BFCL Multi-Turn，以检查一般遵循能力或 tool competency 下降是否解释幻觉增加。
4. 用 CKA 比较 RL 前后 in-domain/math 与 OOD/tool representations，再用 linear probe 评估正确/幻觉回答在不同层 attention、MLP 与 residual stream 的可分性；最后研究 prompting 和 DPO 缓解时与 utility 的取舍。