CostBench: Evaluating Multi-Turn Cost-Optimal Planning and Adaptation in Dynamic Environments for LLM Tool-Use Agents

Idea

CostBench把tool-use评测的目标从完成任务扩展为在可变成本及运行中扰动下寻找低成本执行路径。它将旅行需求转成有严格数据依赖的atomic工具链，再提供覆盖连续子链的composite工具，使相同目标存在不同调用组合；每题重新采样工具价格，以测试在线成本推理而非记住固定便宜工具。

Research Problem

常见agent benchmarks主要统计成功率，无法区分高成本的正确方案与经济的正确方案。已有成本研究多围绕token数、调用次数或静态费用，较少同时控制可替代工具路径、用户偏好变化和工具可用性，因此难以诊断agent在计划被打断后是否仍会优化剩余总成本。

Insight

成本意识需要在保持任务语义相同的条件下比较多条有效路径；动态适应则需要在运行中改变路径或价格，同时保留目标可达性。显式类型约束阻止模型猜出终点来绕过步骤，atomic与composite的等价性提供可比较路径，而随机费用把任务完成能力和经济推理能力区分开。

Method

1. 在地点、交通、住宿、景点、餐饮、购物六类任务中建立偏好识别、搜索、筛选、最终选择四阶段工作流；筛选可含多步，工具严格消费前序产生的自定义数据类型，已获数据允许后续重用。
2. 对每个atomic tool赋随机费用，composite费用等于所含atomic费用之和再加零均值Gaussian noise；排除一次完成全流程的工具，并保持同长度任务在静态、动态条件下的成本可比。
3. 循环执行观察、规划、调用和带费用反馈；动态条件分别插入明确通知的Ban Tool与Preference Change，以及不显式提示的Cost Change与Remove Tools。事件触发依据估计最优路径长度设计，并保证目标仍可达。
4. 组合各领域偏好维度，分离训练和测试的候选值，经GPT-4o检查、自然语言生成及部分人工核验构建query；用Cost Gap、路径edit distance、Exact Match Ratio、任务完成率与无效调用率分别衡量经济性、路径一致性及工具有效性。