Towards GUI Agents: Vision-Language Diffusion Models for GUI Grounding

Idea

论文将 discrete diffusion VLM LLaDA-V 适配到 GUI grounding，把截图和指令映射为包含 action type 与 bounding box 的文本，并提出 hybrid masking schedule 强化坐标之间的几何依赖。研究重点是单步定位可行性与精度/延迟取舍，而非完整长程 GUI agent。

Research Problem

Autoregressive VLM 主导 GUI grounding，diffusion 的双向注意力、并行生成和迭代修正是否适合精确操作尚不清楚。一般线性随机 mask 很少持续提供“已知左上 anchor、预测右下 extent”的条件，因而可能弱化 bounding-box 的内部结构学习。

Insight

Bounding box 的第一对坐标决定 anchor，第二对决定 spatial extent。把部分训练显式改成条件补全后者，可以更频繁学习二者依赖；这比只增加 denoising steps 更直接针对结构化输出，同时保留原模型通用 diffusion inference。

Method

1. 保持 LLaDA language tower、SigLIP-2 vision tower 与 MLP projector 架构，将单截图、自然语言 instruction 和 normalized [0,1000] 坐标组成训练样本，输出 lclick、hover 或 type_in action string。
2. 对目标 action tokens 施加 masked discrete diffusion corruption，仅对被 mask 的位置训练 reconstruction likelihood，视觉与指令作为条件。推理仍从全 mask response 开始，迭代预测并重 mask 低置信 tokens。
3. Hybrid schedule 结合 standard linear masking 与 full deterministic masking：后者提供 action type、anchor 坐标和输入图文，把 extent 坐标作为完全遮蔽的预测目标，增加几何依赖的条件学习机会。
4. 从 Mind2Web 小样本适配扩展到包含 WebLinX、OS-Atlas、Rico 的多域数据，并比较 target-centered crops 与 full screenshots。评测要求 action type 正确且预测 box center 落入目标 box，同时消融 diffusion steps、generation/block length 对 latency 与准确率的影响。