OCR-Memory: Optical Context Retrieval for Long-Horizon Agent Memory

Idea

OCR-Memory 将历史 trajectories 渲染为带 Set-of-Mark identifiers 的图片，使用专门的 optical retrieval model 选择相关 segments，再按 identifiers 从保存的原始日志中取回准确文本。视觉表示用于减少检索时的 context 开销，主 agent 只接收选中的证据，而不必读取全部历史或依赖模型重新生成记忆内容。

Research Problem

长期 agent memory 需要保留 tool outputs、执行细节和失败经过，但 raw text 占用大量 context，summary 又会丢失未来可能需要的信息。直接让视觉模型从压缩图片转写也可能 hallucinate。论文研究如何利用视觉表示的密度，同时把 evidence selection 与 evidence reproduction 分离，控制错误与检索成本。

Insight

记忆保真主要来自 deterministic Fetch，而不是 OCR 模型对所有字符都完美识别：模型只输出 segment pointers，原文由外部日志提供。降低旧图片分辨率可节省 visual tokens，命中后再从原日志重绘高分辨率版本，形成可逆的 detail recovery。但这不消除外部存储和随历史规模增长的检索计算，也不保证永远不会漏检。

Method

1. Memory encoding：将 trajectory chunks 切为文本 segments，渲染红框和数字 IDs，同时保存 verbatim text、episode/time metadata；近期交互保留高分辨率，旧记录使用较低分辨率。
2. Locate-and-Transcribe：DeepSeek-OCR 对每张 memory image 输出对应 segments 的 binary relevance vector，限制 label tokens 为 0/1；实际证据由索引映射到日志取回，不由模型自由转写。
3. Recall-oriented selection：从 0/1 logits 计算 relevance scores，联合低阈值与每张图的 Top-K fallback 选择 segments；低分辨率记录命中后从原文重新渲染，并在当前 episode 的 visual cache 保留。
4. Training 与评估：将 HotpotQA supporting paragraphs 转为视觉 relevance labels，冻结 image encoder、训练 language decoder，以偏重 positive recall 的 weighted BCE 优化；在 Mind2Web 和 AppWorld 中与 text retrieval、summary/workflow memories 比较。