HiconAgent: History Context-aware Policy Optimization for GUI Agents

Idea

HiconAgent 的 History Context-aware Policy Optimization（HCPO）联合优化 GUI 历史使用与压缩：Dynamic Context Sampling 在 rollout 中改变历史长度，Anchor-guided History Compression 在浅层视觉融合后删除旧截图 tokens、保留历史 action tokens，再对齐完整与压缩分支的行为分布。

Research Problem

仅保留 past actions 的 GUI agents 丢失截图中的状态信息，而全量历史会增加 attention 计算和无关干扰。作者的受控 rollout 显示不同样本偏好不同历史长度，更多历史并不总是更好。直接套用单图 token pruning 也忽略 GUI 中动作与历史图像的关联机制。

Insight

Layer-wise token-drop experiments 表明，历史 action tokens 在早期与对应 screenshot tokens 融合后，可成为向后层传递相关视觉语义的 anchors。因此应先融合再压缩，并通过训练让 anchors 承担这一功能。可变长度采样提供不同上下文条件下的成功策略，完整上下文更新再将策略统一到推理设置。

Method

1. 用 history lengths 0、1、2 的多次 rollouts 分析每个样本的 reward，并在不同 transformer depths 分别删除历史 actions、images 或二者，定位历史信息传递模式。
2. DCS 为同一任务采样不同 truncated histories，组内归一化 rewards 得到 advantages。ExpBias 分布早期近似均匀，随训练逐渐偏向较长历史；更新 logits 时把 sampled responses 配回完整历史。
3. AHC 建立共享 responses 和 advantages 的双分支。完整分支按 GRPO 更新，压缩分支在 early fusion depth 后移除历史视觉 tokens，保留 past actions、当前 screenshot 和 instruction，再做 GRPO-style 更新。
4. 增加 history-enhanced KL alignment，以 stop-gradient 的完整分支指导压缩分支。最终 loss 合并两个 policy losses 和 alignment，在 AMEX 上训练，并在 AndroidControl、AITW、GUI-Odyssey 评测 grounding、step success 和计算开销。