Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents

Idea

AgeMem把长期记忆LTM与短期上下文STM的管理统一为agent policy可选择的tool actions，让模型在完成任务时同时学习何时保存、检索、更新、压缩与删除信息。核心变化是将通常由外部heuristics或独立memory manager负责的操作纳入同一条强化学习轨迹，通过跨阶段持续的LTM与会重置的STM训练延迟使用记忆的能力。

Research Problem

已有memory agents常把长期知识存储与当前上下文压缩分开设计，局部规则难以共同优化任务成功、信息保留和context budget。单纯在当前对话内训练还可能让模型直接利用残余上下文回答，无法验证其是否真正学会将早期信息写入记忆并在之后取回；稀疏的最终任务反馈也难以直接训练此前大量记忆操作。

Insight

保存哪些信息取决于未来任务，而检索和压缩是否有价值又必须由后续完成情况检验。作者通过先接收信息、再清除短期上下文并加入干扰、最后揭示目标任务的课程结构，制造必须依赖持久记忆的信息断点；再把最终轨迹回报传播到前面各步，使memory tools与任务动作接受同一优化信号。这里的step-wise指逐步应用policy objective，并不代表每个操作获得独立的因果credit。

Method

1. 将状态定义为当前context、长期memory和task specification；动作空间同时容纳文本生成及六类memory tools。ADD、UPDATE、DELETE操作持久条目；RETRIEVE按语义相关性取top-k；SUMMARY压缩指定文本；FILTER按给定条件与相似度阈值删除消息。
2. 按三个阶段生成完整rollout：先在普通交流中暴露任务相关信息并建立LTM；随后重置STM、保留LTM并注入无关交流以训练压缩与过滤；最后提出正式query，要求检索早期信息、管理上下文并完成任务。
3. 对同一任务采样多条轨迹，将终局回报在组内标准化，再把同一个terminal advantage广播至该轨迹全部step；利用old/new policy概率比及reference-policy KL项更新模型，联合优化跨阶段的记忆和任务行为。
4. 回报组合LLM judge的答案质量、压缩与信息保留、可复用存储质量、维护操作及检索相关性，并处罚context overflow和轮数超限。训练只用HotpotQA，再直接测试ALFWorld、SciWorld、PDDL、BabyAI及HotpotQA，分别采用任务成功、规划进度或答案评价。