How Memory Management Impacts LLM Agents: An Empirical Study of Experience-Following Behavior

Idea

论文通过受控实验研究 episodic memory 的 addition 与 deletion 如何改变 agent 的长期行为，提出 experience-following：检索记录的 query 越像当前 query，agent 的输出也越容易模仿该记录。基于这一现象，作者比较不同质量门槛的 memory addition，并用记录被复用后的下游任务质量估计其 utility，决定是否删除。

Research Problem

不断积累经验通常被视作 agent 自我提升的来源，但错误记录可能被重复模仿并重新写入 memory，形成 error propagation；原先被判为正确的经验也未必适合未来任务。论文研究 memory 容量、记录质量和 evaluator 可靠性如何共同影响长期 performance，以及 retrieval frequency 是否足以判断一条经验的保留价值。

Insight

Memory 的价值需要同时看记录自身是否可靠，以及它作为 demonstration 后是否帮助当前任务。Future execution feedback 能提供额外的 utility 标签，但不是无需成本或噪声的真实因果标签：同一次任务会受到多条记录和 policy 的共同影响。实验也显示 deletion 的效果依赖 evaluator 和任务，不能归纳为 memory 越少越好或 history-based deletion 在所有设置下都提升准确率。

Method

1. 实验对象：使用可控制噪声的线性映射 RegAgent，以及 EHRAgent、AgentDriver、CIC-IoT Agent；memory 保存 query-execution pairs，通过输入相似度检索为 in-context demonstrations。
2. Addition 对比：从相同初始 memory 出发，比较 fixed memory、add-all、coarse automatic evaluator 和 strict evaluator。Strict 设置通过 ground-truth comparison 模拟 oracle，并非每次执行都实际招募人工判断。
3. 行为诊断：同时测量 retrieved/current queries 的 input similarity 与 executions 的 output similarity；用同一检索集合但替换成 ground-truth outputs 的对照分析 error propagation，并比较长期 performance 与 memory size。
4. Deletion：periodic 策略移除一段时间内检索过少的记录；history-based 策略在有足够复用次数后，按相关后续任务的平均 utility 删除低价值记录；combined 策略取两类删除条件的并集，检查容量、质量和 distribution shift 下的权衡。