Self-Improvements in Modern Agentic Systems: A Survey

Self-improvement 被用于描述权重训练、记忆更新、代码搜索和当前答案修订，导致同一词指向不同过程。这篇 Survey 从系统状态与更新算子出发，试图建立可比较的描述语言。其价值在于帮助读者判断什么被保留、由什么信号改变、证据支持到哪一步。

如果只按应用领域分组，同一更新机制会散落在多个栏目；只按是否更新 Weights，又会漏掉工具和 Memory。可以先将系统写成可变状态，再追踪一次执行产生什么信号、哪个算子提交修改。由此自然得到 Update Target 与 Feedback 两条独立轴，并留下对 Improver 自身变化的进一步问题。

作者把 Agent 表示为 foundation model 与 scaffold 的组合，并用自主产生且提交更新的算子描述改进。这一视角将关注点放在经验如何转化为保留的系统变化，而不只看最终回答是否更好。

用库中的 Self-Rewarding 做分类演示：θ 表示会更新的 Model，Scaffold 包含固定 Rubric 和生成流程；Model 生成回答及判断，训练将偏好反馈变成下一版 θ。再用 DGM 对照：θ 固定，Agent Code 属于 Scaffold，修改后继续参与后续工作。输入是论文实验描述，输出是系统边界、状态与更新角色的分类记录，而非一个新算法。

原文将 Agent 表示为 A_t=(θ_t,Σ_t)，Σ 包括 Prompt、Memory、Tools 和控制结构。执行过程 E 产生轨迹、Critique 或候选修改，U 将它们变成下一状态。符号的作用是清楚区分“产生反馈”与“提交更新”。仅有 A_(t+1)=U(…) 的写法，没有给出质量单调上升的定理，也没有说明 U 一定随轮数变化。

A_t = (θ_t, Σ_t)
Σ_t = (prompt_t, memory_t, tools_t, control_t)
A_(t+1) = U(A_1:t, E(policy_t, context_t))

这篇 Survey 最适合作为阅读检查表：先写系统状态，再写更新与证据。本站五个 Evolution Targets 借助这种组件视角组织，但额外把 Loop Role 和 Recursive Gain 分开，以便避免把状态更新当作效果证明。

最脆弱的假设是论文描述足够详细，让读者辨认实际提交的状态。Many-agent 系统里，日志、缓存、Prompt 与参数的生命周期可能不同；缺少实现证据时，分类应保留 Unclear。

本条核对了 arXiv 摘要与正文框架，未逐页通读 97 页全文。综述覆盖 self-improvement 的广义家族，不意味着每篇收录论文都实现了改进机制自身通过 recursion 获得提升，也不提供通用 RSI 已实现的实证。