MAGNET: Towards Adaptive GUI Agents with Memory-Driven Knowledge Evolution

Idea

MAGNET 用双层外部记忆适应 mobile GUI 的 appearance drift 与 workflow drift：procedural memory 保存可迁移任务流程，stationary memory 将图标等视觉实例与功能意图关联。新交互持续补充视觉变体和流程，而无需更新基础模型参数。

Research Problem

历史数据训练的 GUI agent 面对应用改版，可能认不出变形图标或继续沿用失效菜单路径。单纯存原始轨迹又容易把偶然界面细节当作固定规律，缺少对多个视觉实现、稳定功能语义和记忆新旧程度的分别管理。

Insight

界面外观和操作路径会变化，但功能含义与任务意图相对稳定。按这两种稳定因素分别检索，可以让 planner 借用抽象 workflow、actor 借用功能对应的视觉证据；同时按使用历史和创建时间排序，可优先利用仍相关的经验。

Method

1. 对成功任务的 instruction embeddings 建立相似图并提取 maximal cliques，聚合轨迹生成带类别占位符的高层 workflow。planner 根据新指令检索相关流程，结合当前截图和历史拆解 subtasks。
2. 从 screen–action–screen triplets 用 OmniParserV2 找点击区域并裁剪 patch，再由 Qwen2.5-VL-32B 推断功能描述，形成 stationary memory；UI-40K 包含 41,009 个条目和 20,618 种功能意图。
3. actor 按 subtask 检索功能描述对应的 patches：通用 MLLM 直接接收视觉示例，固定输入的 grounding model 则用 template matching 定位参考中心并绘制邻近图标提示框。
4. 成功完整轨迹更新 procedural memory；产生有效 UI 变化的单次点击即可更新 stationary memory，将同功能新外观并入现有条目。检索先按语义筛选，再结合 retrieval frequency、inactivity gap 与创建时间排名；在离线分布偏移划分及 AndroidWorld 在线任务中评估。