Reinforcement Learning for Self-Improving Agent with Skill Library

Idea

SAGE 将 Skill Library 的生成与复用纳入同一次 RL rollout：agent 连续解决相似任务，第一题产生的 executable function 可被第二题使用，后续成功复用的收益再奖励前面的 skill generation。目标是让 agent 学会在部署过程中积累可执行技能，而不仅依赖 prompt 提醒保存经验。

Research Problem

单任务 outcome reward 看不到一个 skill 对未来任务的价值；在任务结束后额外总结 skill 又延长 context，并将生成与使用分离。研究问题是如何把跨任务复用带来的 delayed benefit 转化为训练信号，同时约束 agent 生成可运行、可更新的函数技能。

Insight

Skill 的价值应通过后续任务中的成功使用检验。将相似任务串成短链，可以让训练直接覆盖生成、保存、检索和复用的闭环；但本文主要采用两任务链，因此其 continual improvement 证据集中在受控的相似任务迁移，不能推出无限期开放环境中的稳定学习。

Method

1. Agent 以定义函数后调用的格式解决任务，将无执行错误的新函数保存到 library；支持 Skill Usage、Generation、Update、Save，也允许不值得封装时直接 API call。已有 skill subset 会先加入当前任务 context。
2. Sequential Rollout 为每组采样两道相似任务，第一题以空 library 开始，第二题继承该条 rollout 生成的 skills；不同 group member 因探索不同而拥有不同的第二题 library。
3. Skill-integrated Reward 在 outcome reward 上增加成功复用 bonus：第一题 bonus 要求两题均成功且第二题使用第一题技能，第二题 bonus 要求自身成功且发生复用；无代码并终止的输出另罚 -1。
4. 基于 GRPO 更新，但实际 SAGE 去掉 KL penalty 和 reward standard-deviation normalization，仅减 group mean，并 mask environment observations；在 AppWorld 用 TGC、SGC 和交互成本评价单任务完成与相似任务整组成功。