InquireMobile: Teaching VLM-based Mobile Agent to Request Human Assistance via Reinforcement Fine-Tuning

Idea

InquireMobile 在 GUI 动作空间加入 call_user，通过 SFT 冷启动和规则奖励 GRPO 学会在需要澄清或确认时向用户求助，同时保留普通点击、输入等能力。InquireBench 用真实手机触发的复杂界面检验询问时机和内容。

Research Problem

常规自主 Agent benchmark 假定指令清晰且操作可以直接执行，难覆盖登录、权限、含糊意图或交易等需要人参与的节点。仅提示模型谨慎未必使它真正选择询问，也无法保证其询问后仍能完成任务。

Insight

询问需要作为可训练、可评价的行动选择，而不能只是自然语言风格。把“为什么询问”和面向用户的具体内容分别标注，并同时奖励动作类型和参数，可促使模型在关键界面触发 call_user；BLEU 内容奖励衡量参考措辞相似度，并非用户授权是否充分的语义证明。

Method

1. 在真实 Android 手机 random walk 收集 80,345 张界面，人工筛选需要介入的情况，归为 Intent Confirmation、Privacy and Security、Risk、Combination、Others 五类及 22 个子类，获得 975 个 inquiry 样本。
2. 人工为截图编写设备可执行且符合类别的任务，GPT-4o 生成询问理由与用户消息，再由人工保留、修订或重写；另整理 3,000 条普通 GUI 数据，标注轨迹中的 thought 与动作。
3. 以 Qwen2.5-VL-3B 进行 LoRA SFT，学习 think/tool_call 结构和九种动作，然后 GRPO 对每个输入生成多个候选；训练混合 inquiry 与普通 GUI 样本。
4. 奖励为格式、动作类型、参数三项之和：格式正确 +1、错误 −1；类型须匹配 gold；坐标落入目标 bbox 得分，type/call_user 的文本参数用归一化 BLEU 与参考比较。
5. 在模拟器及实体手机上测试正文另述的 190 条中英指令，报告 Task SR、适时正确询问的 ISR 与 GPT-4o completion score；作者报告 ISR 52.6% 而整体 SR 7.9%，表明询问提升尚未消除导航和执行失败。