MaDS: Long-Horizon GUI Automation via Synergizing Dual-Layer Memory and Multi-Round Debate

Idea

MaDS将双层memory与执行前multi-round debate结合：通用交互规范提供基础约束，场景化操作经验保存成功示例及失败警告；Planner的动作在真正执行前由Evaluator结合当前视觉证据反驳和修订，执行后再将结果写回记忆。

Research Problem

长程mobile GUI任务中的早期定位或规划错误会沿后续步骤累积，部分错误无法轻易撤销。只存成功轨迹或按坐标复用经验容易受到页面噪声与布局变化影响；仅在动作后检查的reviewer也难以阻止高代价错误，因此需要检索、规划与当前屏幕约束共同发挥作用。

Insight

经验可存为action intent和语义目标，而不绑定旧屏幕坐标；失败记录可以转成下一次执行前的禁止条件。全局任务检索用于规划、当前step检索用于反驳，使宏观意图与微观可执行性分别受到检查，但这些检查仍由模型完成，不能保证阻止所有错误。

Method

1. Semantic Knowledge Memory预置43条Android交互规范；Operational Experience Memory保存scene、task、abstract process signature、结果hash、成功标签及reason，既记录positive demonstrations也记录negative warnings。
2. 按任务或当前step检索相关通用规则与场景经验；先限定scene范围，相关性不足则回退全局检索。反思写入的新节点经过hash去重、语义融合与utility pruning，并保留失败警告。
3. Planner提出计划，Evaluator按当前step补检索，并结合规则遵从、目标可见性和逻辑一致性给结构化confidence；低于阈值时提供反驳并重规划，达到辩论轮数上限则执行记录中最高confidence的计划。
4. 执行后用前后截图及操作意图判断结果、归因并更新memory；在作者构建的271项、11个应用、平均15.5步的MaDS-Benchmark中采用过程导向分析，定位感知、检索、规划与执行阶段的问题。