MobileWorld: Benchmarking Autonomous Mobile Agents in Agent-User Interactive and MCP-Augmented Environments

Idea

MobileWorld把mobile agent评测扩展到长程跨应用、主动询问用户和GUI/MCP混合操作，并通过可自托管的开源应用获得后端可观测性。它以201项任务、20个应用构造更复杂的工作流，保持可重置初始状态和明确的程序化成功检查。

Research Problem

已有mobile benchmarks多为短程单应用、完整指令和纯GUI任务，难以分辨真实助手需要的跨应用协调、缺失信息澄清和外部工具使用能力。商业应用虽真实但不容易控制初始状态或访问后端，使仅看截图的成功判定和重复实验受到限制。

Insight

选择与常见生产应用功能对应的开源替代品并自行部署，可以保留复杂业务行为，同时获得数据库、local storage及callback层面的验证能力。故意从任务中移除环境里也不存在的关键信息，则让ask_user成为必要的信息动作；MCP也必须与后续GUI操作衔接才能完成目标。

Method

1. 在Docker-in-Docker环境中封装rooted Android Virtual Device、self-hosted应用后端和控制API，以预定AVD snapshot初始化任务；应用涵盖Mattermost、Mastodon、Mall4Uni等，并预装联系人、邮件及其他任务材料。
2. 将任务分为GUI-only、agent-user interaction和MCP-augmented；统一动作空间除点击、输入、导航等操作外，加入ask_user、mcp_call、answer及完成状态，并配置5个MCP servers、64个工具。
3. 人工先写明确可完成目标，再删除地址等关键内容，并检查设备中没有遗漏信息的替代来源；LLM user只持有完整目标和被删信息，在agent主动询问时按限定范围回答。
4. 按任务类型用精确字符串或regex、后端数据库查询、ADB local storage inspection及应用callback核验最终状态；分析201项任务中的跨应用比例、操作长度及各模式完成率，检验现有agents在更长工作流上的表现。