Reflexion: Language Agents with Verbal Reinforcement Learning

Agent 失败后重新开始，容易重复同一条错误行动。Fine-Tuning 可以积累经验，却对在线交互显得昂贵。Reflexion 研究能否将环境反馈转成简短的语言记忆，让固定 Model 在下一次尝试时避开已知失败。价值来自重试成本的降低。

二元失败信号只告诉系统没成功，长轨迹又包含大量无关细节。LLM 擅长把过程压缩成语言解释，因而可以尝试将失败定位为可执行的建议。把建议放回下一次 Actor 的输入，就形成低成本的策略调整。关键不确定性是这份总结能否正确归因，而非仅凭结果编故事。

Reflexion 将任务成败转译成下次尝试可读取的语言经验，使 feedback 不仅停留在一个分数上。reflection memory 改变后续决策时的 context，因而是跨尝试的系统状态更新；这为分析 nonparametric learning 提供了实例，也把 feedback 可靠性变成核心变量。

沿用论文的编程任务设置作教学演示：输入函数描述，Actor 生成代码与可运行测试；Evaluator 执行可见测试，发现空列表失败。Self-Reflection 将错误概括为“先处理空输入”，写入 Memory。下次 Trial 读取描述和记忆，重新生成程序，最后用未暴露的测试评估。示例输入为构造，原文不同任务的反馈来源各异，不能混用它们的测试权限。

可把 Policy 写成 π(a|state, memory)。Weights 固定，Memory 改变也会改变下一次动作分布，这解释了为什么不做 Gradient Update 仍能适应。Memory Update 将旧记忆与新反思合并，但没有 Bellman 收敛保证；反思文本的质量无法只由长度或语气度量。应将它看作一种有损的经验编码。

trajectory_t ~ π(· | task, memory_t)
reflection_t = Reflect(trajectory_t, feedback_t)
memory_(t+1) = Update(memory_t, reflection_t)

Reflexion 中的学习状态主要是 Episodic Memory。评估时至少记录 Trial Index、可见 Feedback 与 Memory Reset 规则，否则同名的 pass@1 很容易被误读成同样预算的一次尝试。

最脆弱的假设是失败原因可从现有轨迹辨认。随机失败、隐藏环境状态和不完整测试可能诱导错误归因；一旦写入 Memory，错误建议会影响更多尝试。

这里的学习通过 reflection memory 实现，并不更新 model weights；效果也依赖 feedback 是否可靠。