Mobile-R1: Towards Interactive Capability for VLM-Based Mobile Agent via Systematic Training

Idea

Mobile-R1 以三阶段 curriculum 将 VLM 从格式正确的单步执行推进到在线多轮任务优化：SFT 学响应结构，action-level GRPO 学可验证动作，task-level GRPO 再奖励整条轨迹的连贯性和完成度。另提供中文移动任务的人工推理与动作标注。

Research Problem

仅优化下一步匹配可能形成局部贪心，不能学习探索或从误点中恢复；但能力不足时直接使用稀疏 task reward 又难收敛。中文商业 app 的复杂界面和推理数据不足，也限制已有训练配方的迁移。

Insight

逐级训练让模型先获得可靠原子执行能力，再在最终目标下容许并学习纠错。作者跳过 action 阶段的对照出现训练停滞，支持其引导作用；task-level 信号来自 GPT-4o rubric，因此应区别于第二阶段可直接核验的 bbox/字符串奖励。

Method

1. 为 28 个中文 app 人工与模型生成 1,510 个合法任务，用 Qwen2.5-VL-3B 多次执行收集 4,635 条轨迹、24,521 步；人工修订 logical thinking、明确动作描述与精确 tool-call 三层标注。
2. Stage 1 以 action-level 指令和历史作 SFT，输出 think、action、tool_call 结构，建立截图、用户意图与八种操作之间的映射。
3. Stage 2 进行 on-policy GRPO，奖励格式完整与动作正确：坐标操作要求落入 gold bbox，非坐标命令或文本需与参考匹配；该阶段提供进入长程 RL 前的密集监督。
4. Stage 3 在模拟器中 rollout 多步任务，保留全部文本动作历史、仅对历史截图设置滑动窗口；GPT-4o 按 trajectory coherence 和 task completion 五级评分转为 0–1，再加全轨迹平均格式奖励，进行 task-level GRPO。
5. 第三阶段使用五个常见 app 的 100 条任务，评测保留 500 条人工轨迹及长尾 app 子集。分别报告逐步 Accuracy、整条全对的 Task Success、允许中间错误但最终完成的 Tail Success 和参数错误数，并消融训练阶段。