From Proof to Program: Characterizing Tool-Induced Reasoning Hallucinations in Large Language Models

Idea

本文提出 Tool-Induced Myopia：即使 Python 工具调用和执行正确，模型也可能把枚举、数值试验的结果当成完整数学论证。以 PyMath 和多维评估区分 final-answer accuracy 与推理完整性，并尝试用偏好学习纠正工具结果替代推导的行为。

Research Problem

常见工具使用评估着眼 API 错误、检索事实或最终答案，却无法揭示“答案正确、理由不充分”。竞赛数学中程序可辅助计算，但有限检查不足以证明一般结论；单一 PRM 也可能把看似连贯的数值路径判为有效，漏掉全局证明缺失。

Insight

工具可以改善计算却改变解题方式，因此能力提升与推理质量退化可以并存。选择 Python useful but not sufficient 的问题，并在正确答案样本内检查 reasoning，能够针对性揭示这种差异；但参考推导遗漏率会惩罚不同的正确解法，需与其他指标联合解释。

Method

1. 从 AIME、Omni-Math、OlympiadBench、OlympicArena 收集英文文本题，以 LLM judge 筛选 Python 有用但不足以独立完成论证的样本，形成 1679 题并划分一千题评估与训练/开发集。
2. 同一模型分别提供和不提供 Code Interpreter，比较答案准确率；在正确答案条件下用随机顺序 pairwise judge、相对参考解的 Miss Rate 和 Qwen Math PRM scores 检查逻辑与推导缺失。
3. 按工具调用次数分组并区分逻辑、假设、策略与算术错误，对高风险子集人工核读，检验自动信号是否对应以计算代替证明。
4. 训练外干预提示模型把执行结果作为线索并继续数学推导；DPO 用提示增强解作为 chosen，将局部推导改写为过度依赖工具的版本作为 rejected，同时保持中间与最终结果一致。
5. 在 GPT-4.1 上比较缓解策略：DPO 改善答案、Miss Rate 和偏好表现，但 PRM score 未恢复到 non-tool base，显示改善集中在行为组织而非所有推理维度。