The Confidence Dichotomy: Analyzing and Mitigating Miscalibration in Tool-Use Agents

Idea

论文先比较 evidence tools 与 verification tools 对 agent verbalized confidence 的不同影响，再提出 Calibration Agentic RL，联合优化答案准确率和显式置信度。其 MSCR 奖励让任何正确回答都严格优于低置信度错误回答，以避免校准训练把“诚实失败”当作有竞争力策略。

Research Problem

工具增强往往只用最终正确性训练，不能保证 agent 知道自己何时错；既有校准研究又多集中在搜索，容易把过度自信当作所有工具的共同效应。单纯 Brier reward 与 correctness 相加还可能出现奖励区间重叠，使降低错误答案的信心替代真正完成任务。

Insight

检索给的是含噪 evidence，执行器给的是结构化计算反馈，二者在所测任务中的 confidence shift 不同；因此应直接训练概率表达而非假设能力增长自动带来校准。把正确与错误样本奖励区间分开，保留置信度误差的梯度同时维持完成任务的首要激励。

Method

1. pilot 用相同 Qwen backbone 比较 direct prompting、prompted tool-use 和 RL tool-use，在检索 QA 与 Python 数学任务上统计共同答错问题的 Mean Confidence on Incorrect Predictions，并作显著性比较。
2. 以 Search-R1 的 Wikipedia2018/E5 检索环境、NQ 与 HotpotQA 训练数据执行 GRPO，要求最终答案包含 0–100 confidence tag，同时验证 reasoning/action/observation 结构。
3. 比较 correctness 减加权 Brier error 的奖励及 MSCR：正确答案至少一分且信心越高奖励越高，错误答案至多零分且错误信心受到平方惩罚；格式失败另罚。
4. 在 ID 和 SimpleQA-verified OOD 上共同报告 accuracy、十 bins ECE、Brier score 与 AUROC，并与仅正确性训练、temperature scaling 和工具惩罚方法比较，以分辨平均降信心与更好的正确性排序。