SEARL: Joint Optimization of Policy and Tool Graph Memory for Self-Evolving Agents

Idea

SEARL联合学习agent policy与Tool Graph memory：将任务拆成可复用的MCP小工具，以图的节点记录工具、边记录执行依赖，并用共享工具作为跨轨迹的step分组锚点。工具库既提供后续推理的外部经验，也为稀疏的终局强化学习增加相对更细的训练信号。

Research Problem

静态tool lists限制任务适应，直接生成单体工具又给较小LLM带来过高难度；把成功经验存成无结构文本或工具列表会丢失组合关系。普通trajectory-level RL只知道最终成败，按完全相同state分组的逐步优化则在开放推理中难以找到足够重复状态，因此难以学习具体的工具创建和复用决策。

Insight

使用同一类工具的动作虽不处于完全相同环境，也可能共享可比较的操作语义。把工具语义合并为memory anchor，可在更宽松的抽象层级比较return-to-go，同时保留episode advantage约束整体任务目标。图结构则使经验成为可执行的模块和依赖关系；这种抽象是作者提出的归纳偏置，并不自动消除不同上下文造成的混杂。

Method

1. 生成带XML结构的轨迹，先做全局Planning，再在subtask中依次Retrieve、Think和Action；Action既能给出答案也能调用代码工具，创建MCP工具本身也表示为普通tool call，以统一工具生成与复用。
2. 用终局答案正确性的binary reward，加上计划可解析、工具注册格式有效、执行返回有效输出及格式符合要求的process rewards；对同一任务的多条rollout计算标准化episode relative advantage。
3. 将新旧工具按名称、描述的语义相似度合并，以同一tool anchor聚合不同轨迹中的动作；在组内标准化discounted return-to-go形成step advantage，与episode信号联合优化policy。
4. 把计划的subtask依赖投影为工具图；成功创建的工具先进入候选池，每轮优先注册高回报工具，检索模型按subplan与description匹配工具。更新时合并相似节点并重定向关联边，保存累计执行顺序。
5. 用Tool-star的10000个训练样本及Python、Wikipedia基础接口训练，在数学和多跳知识任务上比较GRPO等算法；评估采用Qwen3-32B对照ground truth判断binary correctness并报告pass@1。