ET-Agent: Incentivizing Effective Tool-Integrated Reasoning Agent via Behavior Calibration

Idea

ET-Agent 将 tool-integrated reasoning 的优化目标扩展到行为校准：通过 Self-Evolving Data Flywheel 增加有效解法，再从准确性与工具次数的组内差异挑选训练题，逐步学习正确、简洁且调用恰当的轨迹。它同时处理调用过多、调用不足、执行错误与推理偏离。

Research Problem

仅优化答案准确率可能保留大量无效检索、冗长思考或错误代码调用；一味减少工具次数又会使模型过早结束。相同问题的正确轨迹之间仍存在很大行为差异，而普通 group-based RL 在 rollout 同质化时缺少奖励方差，难以持续改进这些行为。

Insight

需要先扩展可探索的有效行为，再利用相对质量信号进行校准。对正确轨迹删冗余、对错误轨迹修首错或追加提示，可获得多样可行路径；同时选择正确性和工具使用存在分歧的问题，能为后续 RL 提供更有区分力的训练组。

Method

1. 对每题多次采样并按答案分为 Correct/Incorrect Sets；前者定位首个冗余步骤重生成后续，或整体精简思考，后者修正首错或注入提示鼓励额外工具探索，多轮合并形成 Daug。
2. 过滤错误答案、格式和执行失败后做 rejection sampling fine-tuning，使模型先掌握更广的正确动作空间与合法调用行为。
3. 每题采样多条轨迹，以 correctness scores 和 tool-call counts 的标准差衡量两种 dispersion；用 Pareto non-dominated sorting 优先选高潜力题，再通过 crowding distance 保持选择多样性。
4. 交替 Pareto sampling 与 ARPO 训练；奖励将 correctness 乘以组内相对工具次数和 reasoning length 的效率分数，再加格式项，工具返回不计入推理长度；按课程轮次调整惩罚强度，兼顾答案质量与行为效率。