iSHIFT: Lightweight Slow-Fast GUI Agent with Adaptive Perception

Idea

iSHIFT 在约 2.5B 的 GUI agent 中结合 latent thinking 与 conditional visual perception。模型先以全局 screenshot 特征进行隐式思考，简单动作直接生成，需要精细坐标时输出 perception control tokens，再调用 DINO 特征增强路径后作答。

Research Problem

大型 GUI 模型以较高成本同时处理常规动作和细粒度 grounding，显式文字 CoT 又增加交互延迟。独立的外部 controller 将快慢路径切换与模型内部决策分开，难在紧凑模型中同时学习推理表示、何时追加视觉计算和最终动作。

Insight

动作对视觉精度的需求不同，可通过统一 token 接口选择额外感知计算。将中间推理保留在连续 hidden states，允许模型在不输出长段自然语言的情况下形成控制表示，再用该表示引导局部视觉特征注入。

Method

1. 基于 Qwen2-VL-2B，输入 screenshot 与 instruction，默认进入 Fast Path；在 <bot> 与 <eot> 之间将前一步 hidden state 转成下一输入 embedding，绕过 vocabulary decoding 形成 latent thought。
2. 先用小数据集在 thought positions 填入显式自然语言进行初始化，再替换成 latent tokens，并扩大训练数据，减少大规模逐条 thought annotation 需求。
3. 按 action requirements 程序化标注 fast / slow：需要精确坐标的点击等动作加入 <bop>、<ctrl>、<eop>，滑动等可由全局信息决定的动作走 fast。模型据此学习生成触发 slow path 的 token。
4. Slow Path 用 DINO 重编码图像，通过 cross-attention projector 将 image features 与 h_ctrl 融合，得到 z_p 后注入 MLLM sequence 并生成最终动作。以 AITW、AndroidControl、GUIOdyssey 和 GUIAct 检验动作匹配、类型及成功指标。