Beyond Accuracy: Unveiling Inefficiency Patterns in Tool-Integrated Reasoning

Idea

论文提出 Prefill Token Equivalents（PTE），把 tool-integrated reasoning 中的 prefill、随 context 增长的 decode 访存成本和 KV-cache 不可复用后的重计算折合成同一单位。研究重点是建立更贴近特定 serving 条件的效率诊断指标，并用它重新分析高准确率背后的交互成本。

Research Problem

token 数和 tool-call 数将成本视为近似均匀，但工具等待可能导致 cache eviction，长工具返回又扩大后续每步读取的 KV cache。因此生成较少 tokens 的后续轮次仍可能更慢，单纯统计总输出长度会遗漏早期冗长推理对整个后续 trajectory 的累积影响。

Insight

prefill 主要受 compute 限制，decode 的长上下文增量开销受 memory bandwidth 限制，两类阶段不能直接等权相加。用 model/hardware 配置决定的 γ 将 context-length×decode-tokens 转为 prefill equivalents，可以凸显交互历史变长造成的成本，并帮助定位重复调用或 schema 失败。

Method

1. 对每条 k-turn trajectory 记录每轮全部 prefill tokens、decode tokens 与解码前累计 context length，计算各轮 prefill 加 γ×context length×decode tokens 后求和，面向 cache 无法复用的设定。
2. 从 active parameters、layer 数、hidden dimension 与 Hardware Operational Intensity 推导 γ，并按 GQA 的 KV/query head ratio 或 MLA 压缩维度调整，得到特定 model–hardware pair 的静态系数。
3. 在 8×H200、DeepSeek-V3.2 高并发场景对照 wall-clock latency，另改变硬件 HOI 做排序敏感性分析；统一 system prompts 和 tool definitions，在数学与信息检索五个 benchmark 上记录多模型 traces。
4. 联合比较准确率与 PTE，分析 confirmatory tool usage、工具混用、缺乏 tool priors、tool-format collapse 四类行为；再比较正确/错误轨迹的成本并做难度分层，以 PTE 作为粗粒度诊断信号，而非将低成本本身当作训练目标已获验证。