Rethinking the Role of Entropy in Optimizing Tool-Use Behaviors for Large Language Model Agents

Idea

TEPO 用工具调用前后 reasoning segments 的 next-token entropy 变化作为工具质量代理，将其嵌入 GRPO。论文分别设计偏效率的 trajectory-level 稀疏奖励与偏准确性的 tool-level 稠密奖励，让 agent 学习何种工具反馈有助于后续推理。

Research Problem

仅用最终答案监督不能区分有效取证与冗余调用；现有过程奖励又常需要任务特定规则、标注或外部 judge。长轨迹中的工具过用增加延迟并可能引入干扰，需要一个可由策略自身计算、同时保留任务正确性约束的中间信号。

Insight

pilot experiments 发现高质量调用常伴随后续生成 entropy 降低，作者据此把 uncertainty reduction 当作轻量过程代理。该量衡量模型输出分布更集中，而非事实正确性，所以两种奖励都由 final-answer F1 锚定；稀疏与稠密设计改变的主要是信用分配粒度。

Method

1. 在同一 SFT 起点上生成数学、搜索及 deep-search 轨迹，用 LLM judge 标注工具质量作 pilot analysis；对每个 reasoning segment 的全词表 next-token entropy 取 token 平均，计算调用前后差值。
2. TEPO sparse 将最终 F1 乘以 entropy-decreasing calls 占全部调用的比例；无工具时仅用 F1，组内标准化后的同一 advantage 赋给整条轨迹。
3. TEPO dense 为每个调用计算 F1 乘以一加 entropy-decrease bonus，将同一问题所有 rollouts 的 tool rewards 合并标准化，并把各调用 advantage 赋给它之前的 reasoning span。
4. 两方案沿用 SFT 后 RL 的训练流程，在 Python computation、Wiki retrieval 及 deep search 任务同时报告准确率和调用次数，比较相同数据与优化配置的 GRPO、ARPO、AEPO 等。