PACE: Predictive Adaptive Context Extraction for Long-Horizon LLM Agents

Idea

PACE 将完整 interaction history 保存在 external memory 中，每一步根据当前 query 与最近交互估计旧 chunks 的相关性，再为每个 chunk 选择 full text、detailed summary、brief summary 或 placeholder。随着任务推进和 context budget 收紧，系统提高保留细节的门槛；agent 仍可通过 glimpse 取回被压缩的原文。

Research Problem

保留全部历史会耗尽 context window，而持续重写单一 summary 又可能过早丢失以后需要的信息。已有 folding 方法还可能要求 agent 学习专门的 memory actions。论文研究如何不修改主 agent 的 reasoning policy，就能按下一步的信息需求动态决定历史内容的粒度，并支持较长的执行过程。

Insight

Context 压缩可以是可逆的 representation selection，而不必永久删除历史。PACE 所称 next-step prediction，具体实现是以 query 加最近交互构建 embedding，再做相似度排序，并非另行训练预测未来 action 的模型。Multi-granularity 表示使相关性与预算共同决定展示细节，glimpse 则为 retrieval 判断失误提供恢复路径；存储完整历史仍有持续增长的成本。

Method

1. Memory representation：每个 interaction chunk 保存原文与缓存 key embedding，由后台 LLM 异步生成 detailed、brief 和 placeholder 等表示，主 agent 无需等待 summary 才能继续。
2. Relevance scoring：把用户 query 与最近两个保留原文的 chunks 编码为 query vector，以 BGE-M3 cosine similarity 匹配旧 chunks，再用低温 softmax 和相对平均权重强调较相关的记录。
3. Adaptive compression：结合当前步数相对预期 horizon、上一轮 context 相对 token budget 的占用计算 pressure；提高 full/detailed/brief 的选择阈值，按原顺序组装历史表示，并保留最近交互的完整内容。
4. Recovery 与评估：agent 每步可有限次调用 glimpse 获取指定 chunk 原文，返回内容计入下一步 budget；若异步 summary 尚未就绪，则按预算回退到原文或 placeholder。实验跨多种 web/deep-research benchmarks 比较成功率、context 增长及各组件 ablation。