TPS-Bench: Evaluating AI Agents’ Tool Planning & Scheduling Abilities in Compounding Tasks

Idea

TPS-Bench 以复合任务测量 agent 是否既能挑对工具，又能按依赖正确安排串行/并行执行。它把 task completion、tool selection 与时间、token、调用轮次同时纳入评估，暴露单纯看成功率无法呈现的调度取舍。

Research Problem

现有工具 benchmark 多关注孤立任务或最终完成，难区分选错 API 与把依赖步骤错误并行化。面对多种 MCP 工具，全部串行可能可靠却耗时，全部并行又可能在缺少前置结果时调用；需要带不同依赖复杂度的复合任务检验这种能力。

Insight

工具相关性与调度合理性是不同维度：候选集合选得好并不保证执行顺序有效，较少轮次也不必然高效完成任务。将可并行子任务和严格前置依赖共同放入 benchmark，才能研究性能与延迟之间的实际折中。

Method

1. 收集十五个 MCP servers 的 141 个工具，依据 names/descriptions 由 LLM 生成可解决 subtasks，再组合并人工核查为二百个任务；Easy 至多五个弱相关子任务，Hard 最多五十个且有严格依赖。
2. 评估时先让 agent 从工具库选择至多十个工具，再分解任务、识别依赖并逐轮决定调用；允许独立子任务并行，收到结果后决定继续或输出汇总。
3. 用 Gemini-2.5-Flash 对子任务完成率及工具选择评分，同时记录 input/output tokens、调用 turns、端到端 latency 与 cost-of-pass，并报告与人工评分/分解的相关性。
4. 消融 all-tools、rule-based 与 self-selection，以及默认并行和强制串行，区分 schema 上下文成本与 dependency scheduling 的影响。
5. 另以 597 个样本对 Qwen3-1.7B 做 GRPO pilot，用 judge 的完成度和并行程度奖励检查能否兼顾准确与时间，而非仅奖励减少调用轮次。