Gödel Agent: A Self-Referential Agent Framework for Recursive Self-Improvement

固定 Meta-Algorithm 决定了 Agent 能探索哪些修改。Gödel Agent 研究通过运行时自检与动态代码修改，让系统调整自己的操作逻辑，并将新版逻辑用于之后的迭代。价值在于扩大可修改范围，同时暴露修改与评价边界如何设计的问题。

如果 Agent 能读 Python 的函数和变量，也能生成新函数，便可以通过 Monkey Patching 改变当前逻辑。接下来让它选择查看状态、与环境交互、修改自身或继续改进等动作，控制循环也成为可修改对象。难点是系统必须在修改后仍可运行，且评价不能被候选随意重定义。

recursion 的关键是新版本接管后续改进，而不是在循环中调用同一固定 optimizer。正文把 policy 与更新算法同时纳入状态；编辑理解是，这提供可检验的 self-modification 边界，比单看是否出现 reflection 文字更清楚。

沿用原文 Self-inspection 接口：输入高层目标、初始 Policy 与环境 Utility，Agent 读取运行时函数和状态，决定修改某段求解或控制逻辑，将新代码写入运行时；随后执行任务获取分数，再决定下一步。输出包括修改后的 Policy 与 Agent 逻辑。原文使用经验 Benchmark 验证，不能把一个成功 Patch 称为数学上已证明最优。

可把系统状态写成 S=(Policy, Code, Runtime State)，更新函数本身也可能在 Code 中。S_(t+1)=Execute(S_t, action_t) 表示自修改后的下一状态。形式上允许自指与证明每次改进是两回事；原文的实现主要依赖 LLM 与评估反馈，未给出适用于任意改写的效用单调性定理。

S_t = (policy_t, code_t, runtime_t)
action_t ∈ {inspect, interact, update, continue}
S_(t+1) = Execute(S_t, action_t)

这项研究使 Self-Modification 成为实际可执行操作。阅读时要检查真正被替换的函数、固定的执行环境和独立 Utility，而不只看框架宣称允许修改的范围。

最脆弱的假设是修改控制逻辑后，评估结果仍可比较。候选可能改变停止条件、重试预算或执行方式，让表面收益来自评价协议变化。

名称源自 Gödel machine，但这里的修改由 language model 与经验评价驱动，不能直接继承形式证明式最优保证。初始目标、model 接口、评价任务及运行资源仍有外部设定，自由配置与受约束配置也不能混比。