MAS-Bench: A Unified Benchmark for Shortcut-Augmented Hybrid Mobile GUI Agents

Idea

MAS-Bench 以 139 个真实 Android 任务评测 GUI 与 API、deep link、RPA shortcut 的混合使用，并进一步测试 Agent 能否把重复操作抽象成可复用 shortcut。基准不仅看任务完成，还观察时间、步数、token 和调用结构。

Research Problem

纯 GUI benchmark 无法衡量快捷接口降低交互开销的价值；只给预置 shortcut 又无法检验经验积累。不同生成 Agent 自身能力还会混入 shortcut 质量比较，因此需要固定下游执行者，单独评估其生成的知识库。

Insight

快捷调用的价值来自压缩已知、稳定的子流程，GUI 则补足未封装的动态步骤。故 benchmark 故意提供不完整 shortcut coverage，迫使 Agent 做混合规划；把各生成器的库交给同一个 baseline，可以更清楚地比较可复用流程本身的效果。

Method

1. 在动态 Android 环境构建 11 个 app、139 个任务，以 snapshot reset 和专门测试账户控制初态；覆盖单 app、跨 app 与不同难度，并设计重复子任务和逐步追加需求的变体。
2. 收集 11 个 intent API、70 个 deep link 和 7 个 RPA，共 88 个预置 shortcut。API 来自官方文档和包分析，经标准 IPC/ADB 调用；deep link 对应 URI 入口，RPA 封装高频多步流程。
3. 统一 click/swipe/type 等 GUI 与 shortcut 两类动作。知识库仅提供任务的部分子功能；reference agent 检索相关 shortcut 并结合截图或 UI tree 决策，也将同类说明注入不同模型的 prompt，无需更新权重。
4. 对 shortcut generation，生成 Agent 先探索并建库，再把库导入固定 baseline 执行同批任务；比较 action replay、动态 grounding 和 MobileAgent-E 等生成方式，以及纯 GUI 与预置库条件。
5. 报告成功率、步数及相对步数、执行时间、token、shortcut 调用数、调用成功率和 GUI 比例共九项指标；MAS-Bench-Eval 先将轨迹转成动作/状态变化描述，再由较强 MLLM 根据语义历史、终屏和任务判断成功，并与人工轨迹标注校准。