PAST-Bench: Benchmarking the Foundations of Recursive Self-Improvement in Personal Agents

Personal Agent 保存了用户偏好或操作经验，并不说明后续任务真的受益。PAST-Bench 研究如何在 Fresh Session 中隔离持久状态的作用，并检查收益是否经过预期的 Save、Retrieve 与 Update 路径。

一个 Agent 第二次答得更好，原因可能是题更容易、Prompt 暗示更多或采样不同。要隔离 Memory 作用，应让两次评估只在是否可访问持久状态上不同。再检查实际写入和读取痕迹，才能区分真正经验复用与答对了但没走预期路径。

关键在于把经验开关设为可比较的实验条件，并追踪保存、检索、更新的完整路径。本站解读：仅报告最终成功率会混合多种来源的收益，过程证据才能帮助判断 persistent memory 是不是改进原因。

沿用其 Update Task Family 作教学演示：Learn Episode 保存一项用户偏好，Update Episode 给出修改；Evaluation 在新 Session 中询问相关任务，并移除显式提醒。两次配对运行使用相同 Prompt、工具和 Seed，仅切换对 Family-produced State 的访问。输出包括任务分差与机制路径证据。具体偏好内容为构造示例。

对同一个 Task Family，Δ 是 Persistence On 与 Off 的平均分差，再按 Family 和 Capability 做宏平均。Cold Episode 用于初始能力校准，不能拿它替代配对的 Off 条件。作者把配对设计视为强控制，而非完美因果证明，因此还报告 Mechanism Evidence。

Δ_f = S_f(with persistence) − S_f(without persistence)
Overall gain = macro-average across families / capabilities
Cold score is not the matched control

以某个任务族 f 为例，保留经验时得分 0.7，配对关闭经验时得分 0.5，那么 Δ_f=0.2，即 20 个百分点。之所以配对，是为了让 Prompt、工具与随机性等条件尽量相同，把差异收窄到 Persistence。Macro-Average 再让每个任务族按既定权重贡献，而不由样本最多的任务支配。若历史信息或执行预算仍有未控制差别，Δ_f 就可能混入其他因素；一个正数还需要结合协议检查才能解释。

PAST-Bench 最有价值的是分离 Task Gain 与 Memory Pathway。它测量持久经验的基础作用；没有单凭正 Δ 证明生成改进的机制本身越来越强。

最脆弱的假设是 On/Off 切换只改变目标状态的可用性。残留文件、缓存或额外提示会污染对照；反过来，禁用状态也可能改变工具行为。

这是一套经验利用的评测与诊断证据，不能直接证明 Agent 会修改自己的改进算法。场景和任务片段数也不等于所有个人助理任务的覆盖范围；此条目核验摘要，未复现评测或独立检查轨迹。