Self-Taught Optimizer (STOP): Recursively Self-Improving Code Generation

重复调用一个固定 LLM 可以提升程序质量，但怎么分配调用、保存候选和利用失败仍是一段人为编写的 Scaffold。STOP 将这段 Scaffold 也变成待优化程序。潜在价值在于一次昂贵的 Meta-Optimization，可以被之后许多不同编程任务复用。

先从 Best-of-N 出发：同一 Prompt 采样多个程序，选最高分通常比只取第一个更稳。但固定采样会浪费已经得到的反馈。让 LLM 修改采样与搜索逻辑，就可能得到更好的 Improver。如果这段逻辑同样是一份程序，而评价函数已经能测它帮助下游任务的效果，就可以把相同的改进接口再应用到它自身。

STOP 将程序 improver 本身作为待优化程序，recursive objective 因而从一次解题转向如何更好地 search 解法。改进是否有效由下游效用判断，保存的是新的优化代码；这里通过 recursion 改变的是组织 language model 调用的算法，而非 language model 的参数。

沿用原文程序优化任务的接口，作一个简化演示：输入是初始求解程序 s、评分器 u 和固定 LLM。Seed Improver 采样多个改写版本，执行评分后返回最好者。Meta 阶段把 s 换成 Improver 源码，把 u 换成“它改进一组程序后的平均得分”。输出可能是带 Beam Search 或候选重用的新 Improver；随后用这个新版继续优化自身。原文确实分析了多种此类搜索策略，具体简化输入并非原文样本。

先区分两层函数。u(s) 给一个解打分；I(u,s,L) 接收评分器、原解和 LLM，返回新解。把 I 放到多道任务上，平均最终得分得到 Meta-Utility。于是 I 也可以被自身当作字符串程序修改。递归写法定义了一个过程，不能单凭公式推出每步必然增益；有限样本 Meta-Utility 与真实任务分布之间还存在泛化误差。

s′ = I(u, s, L)
û(I) = (1/|D|) Σ_(u,s)∈D u(I(u,s,L))
I_(t+1) = I_t(û, I_t, L)

先看内层：u 是给程序打分的函数，s 是待改程序，L 是可调用的语言模型；I 返回修改后的 s′。第二式把一组任务 D 中这些修改结果的分数取平均，从而得到给 Improver 打分的函数 û。最后，将待改程序的位置换成 I_t 自己，并将评分函数换成 û，输入输出类型就闭合了。比如 I_t 原来只提一个候选，修改后会提三个候选并择优，下一轮就能用这个新过程继续修改 Improver。候选数增加也增加成本，因此更高分需要与等预算搜索比较。

STOP 的关键是把 Improver Quality 定义为它让别人变好的程度。它不要求更新 LLM Weights，但也没有覆盖全系统。读代码时要追踪两层预算：优化 Improver 的成本，以及使用它解决每个新任务的成本。

最脆弱的假设是训练任务上的平均改进效用能代表未来任务。Improver 可能学会利用评分器结构，或把计算量集中在少量容易高分的任务上；这会提高 Meta-Utility，却削弱通用性。

论文明确说明 base language model 没有改变，因此这不构成完整的 Recursive Self-Improvement。