Mem2ActBench: A Benchmark for Evaluating Long-Term Memory Utilization in Task-Oriented Autonomous Agents

Idea

Mem2ActBench将长期记忆评测从回答过去发生了什么，转向把未重述的历史偏好落实为正确tool调用及参数。它先整理跨对话的事实演变，再从有记忆依据的完整调用反向生成缺省参数的query，让检索结果必须经过推理和grounding才能转化成动作。

Research Problem

现有memory benchmarks常用显式问题检索孤立事实，较难测出agent能否主动补齐任务参数、识别偏好更新，并在被无关交流打断后继续执行。简单把长历史附加到任务也可能泄漏参数或产生互相矛盾的记忆，使失败原因混杂，无法定位记忆利用与工具选择之间的缺口。

Insight

若先确定历史中可追溯的目标调用，再有意识省略当前query中的关键信息，便能把需要应用记忆的部分具体化。事实时间链提供历史更新的参照，query-only discriminator过滤无需记忆也能猜对的题目；因此正确tool选择与准确参数绑定可被分别观察，但该过滤并不是逻辑上的不可猜测证明。

Method

1. 将ToolACE和BFCL的tool traces改写为多轮任务对话，再混入OASST1中rank=0的交流线程；从对话抽取attribute、fact、source ID，以实体约束的attribute和BERTopic/HDBSCAN聚合相关事实。
2. 用LLM在组内按时间排序，保留合理更新并删除冲突和重复事实；将局部先后关系构成有向依赖图，用修改的Kahn排序合并全局链，遇到环时移除死锁节点中出度最高者以恢复顺序。
3. 从事实链用BM25、BGE-M3及LLM选择目标工具，构造可由记忆抽取或推断的参数，并用fuzzy matching与LLM verifier检查来源；反向生成保留意图但省略参数、依赖历史指代的query，再以无历史discriminator筛除可直接作答样本。
4. 构建400项任务并对事实、冲突处理、记忆依赖做抽样专家核验；实验保留覆盖全部答案证据的429个session，在统一Qwen2.5 backbone下比较七种memory框架，以参数F1、BLEU-1和要求工具及全部参数精确匹配的Tool Accuracy评测。