AgentOCR: Reimagining Agent History via Optical Self-Compression

Idea

AgentOCR 将不断增长的 observation–action 历史渲染为图像，让 VLM 以较少 visual tokens 读取历史；segment optical caching 复用重复文本片段的渲染结果，self-compression 则把下一步图像压缩率作为 Agent 的显式决策，与任务成功共同进行 RL 优化。

Research Problem

长程文本历史增加 prefill、KV-cache 和训练内存开销；直接换为 optical history 又可能使未经训练的 VLM 无法可靠利用细节。每步重新渲染完整历史很慢，固定高压缩率也会模糊关键文本，因此需要同时解决渲染复用、策略适配与动态保真度。

Insight

视觉 token 可以作为密度更高的历史载体，但压缩收益取决于任务对细小文字的敏感度。以最终成功为前提奖励压缩，使成本优化服从任务；即便如此，持续给压缩奖励仍会产生过度压缩，作者用间歇奖励缓解，而非假设成功门控已保证无性能损失。

Method

1. 外部 memory buffer 保存原始交互记录，按确定性字体、尺寸和布局渲染成 RGB 历史图；策略输入任务指令及该图，输出 action，执行后追加新 observation/action，保留原始文字记录以供重新渲染。
2. 将历史按片段拆分，以内容 hash 为 key 建立每环境、每 episode 的图像缓存；仅 cache miss 片段重新渲染，再按原顺序垂直拼接，episode 结束重置，重复 boilerplate 和工具结果可共享存储。
3. 策略同时输出 compression factor c≥1；系统把下一步历史图的高宽分别缩至原来的 1/√c，从而减少像素与 visual tokens。此机制调整渲染精度，不是摘要删除或历史检索。
4. 用 GRPO 训练，成功轨迹的步骤获得 ln(c) 压缩奖励，失败轨迹该项为零；与任务 reward 加权相加，默认 λ=0.01，并每五个训练 iteration 才加入效率奖励，避免每轮驱动贪婪压缩。
5. 在 ALFWorld 和 search-based QA 比较文本/视觉历史的无 RL 与 GRPO 版本，测成功/EM、平均及峰值上下文 token，并消融缓存和压缩率；约 20× 是相对整史重渲染的 rendering speedup，搜索 QA 在激进压缩下更易退化。