GUI-CEval: A Hierarchical and Comprehensive Chinese Benchmark for Mobile GUI Agents

Idea

GUI-CEval 将中文移动 GUI agent 的能力评价分成 foundation 与 application 两层：前者用统一 multimodal QA 分解感知、规划、反思及执行后评价，后者在对应应用和页面上测 grounding、offline action prediction 和真实设备 online execution，从而连接局部技能与端到端行为。

Research Problem

既有 benchmark 多以英语为主，平台、任务难度和指标也彼此分散。单看 grounding 或最终成功率不能区分是看错界面、选错下一步、无法纠错还是误判完成，且自动采集和模拟环境不足以反映中文 app 的广告、权限、网络及页面习惯。

Insight

在同一移动应用生态中把原子判断与实际执行分层配对，可减少跨 benchmark 不可比性，并直接定位能力链断点。将 reflection 和 post-action evaluation 单独测试，也使“能点中控件”与“知道点得是否正确、任务是否完成”分开。

Method

1. 在四类实体设备上覆盖 201 个主流 app，采集 screenshot、XML、touch actions 与设备和标注者 metadata；单图覆盖功能页及广告、支付、权限页，轨迹保留真实失败与自动触发事件。
2. Foundation 用统一单选题测 app/page、文本、操作性、规划、相邻动作因果、短长程反思，以及成功判断、指令反推和时间排序；以 Set-of-Marks 候选区域降低坐标表达对能力判断的干扰。
3. Application 中 grounding 测 point-in-box accuracy，offline 测 action type / parameters 的逐步准确率和轨迹成功，online 在真实设备执行无需登录的常用功能，记录成功率、延迟、token 和步数。
4. 构造问题、标签与相近但可区分的 distractors，经人工交叉核查、模型辅助检查及 20% 人工抽样评估形成 8,222 项数据。比较 20 类模型/系统及 47 种配置，按维度诊断反思与执行后判断的薄弱环节。