EVOTOOL: Self-Evolving Tool-Use Policy Optimization in LLM Agents via Blame-Aware Mutation and Diversity-Aware Selection

Idea

EvoTool 在冻结 LLM 权重的条件下演化模块化 tool-use policy：用轨迹诊断确定 Planner、Selector、Caller 或 Synthesizer 中最需要修改的模块，再仅改动该模块规范，并保留在不同任务上有互补优势的候选。它把 prompt/tool-template 优化变为局部可解释的 evolutionary search。

Research Problem

长工具链只有终局分数，难以判断失败来自规划、选工具、参数还是最终综合。整体 prompt 更新容易把行为纠缠并破坏已有效部分；仅优化固定单模块又忽视跨模块错误传播。按平均表现贪心保留一个候选，还可能丢掉在少数任务上有效的专门策略。

Insight

完整执行轨迹中的参数校验、工具结果和证据引用能提供比终局奖励更细的归因线索。把更新限制在最高 blame 的模块，可减少非目标能力回退；instance-wise winners 则把策略多样性定义为不同样本上的实际胜出，而非文本表面差异。

Method

1. 将 policy 拆为 Planner、Selector、Caller、Synthesizer 四角色，共享冻结模型权重，演化对象为 prompts、tool templates 和轻量格式规则；维护多候选 population。
2. 选父候选在训练 mini-batch 上执行，收集任务、完整轨迹、答案及分数；提取工具选择、参数有效性、执行结果和 synthesis grounding 诊断，Blamer LLM 输出模块级 blame scores。
3. Mutator 根据最高 blame 模块与具体失败证据生成自然语言 critique 和局部编辑，仅修改该模块；子候选在同一 mini-batch 优于父候选时才进入 population。
4. 在独立 selection set 上评价所有候选，仅保留至少一个样本上最高分的 instance-wise winners，按胜出频率采样下一代父候选；预算结束返回最佳候选，并跨工具基准及 backbone 检验表现和迁移。