MMBench-GUI: A Unified Hierarchical Evaluation Framework for Multi-Platform GUI Agents

Idea

MMBench-GUI 提供四级 GUI 能力评测，依次检查 Content Understanding、Element Grounding、单应用 Task Automation 和跨应用 Task Collaboration。它覆盖六大平台，并用 Efficiency-Quality-Aware（EQA）衡量不同 step budgets 下的成功率，联合呈现能否完成与完成所需动作量。

Research Problem

分散的 GUI benchmarks 各自测截图问答、坐标定位或最终任务成功，难追踪底层感知错误如何影响长程执行，也难跨平台比较。仅报告 success rate 会把少量动作完成和大量回退后完成视为相同能力，掩盖定位、规划和状态追踪造成的交互浪费。

Insight

将感知、定位和控制放在共享 GUI 场景基础上分层评价，更容易区分能力瓶颈。效率应从成功与预算的关系衡量：越早完成任务，在 success-vs-step-budget curve 下覆盖的面积越大。跨应用任务还必须明确存在信息传递依赖，才能实际测到协作与全局一致性。

Method

1. 收集 Windows、macOS、Linux、iOS、Android 和 Web 截图，人工标注 Text/Icon 元素 boxes。L1 用 Claude 3.7 生成分难度 MCQA，经 o4-mini、o3 和人工抽查修正；L2 同时构造视觉描述式 Basic 与功能隐含式 Advanced instructions。
2. L3 整合 OSWorld、AndroidWorld、WebArenaLite-v2 和 WindowsAgentArena 等交互环境，统一 click/type/scroll 接口，清理不稳定任务，以 final-state programmatic checks 判断成功。
3. L4 从已有任务或人工设计中选取需在多应用间传递信息的 workflow，并加入 MacOSArena 的 70 个任务，均分单应用和跨应用两类，补充 macOS 评测覆盖。
4. L1 使用考虑选项数的 weighted accuracy，L2 使用 point-in-box accuracy。L3/L4 同时报 SR 与 EQA：在统一离散预算上截断 episodes，累计并归一化成功率，惩罚依赖长且冗余轨迹才能成功的行为。