DAC-Bench: A Decision-Aware Benchmark for Compositional Mobile GUI Tasks

Idea

DAC-Bench 将 mobile GUI 指令构造为带约束的有向任务图，覆盖 Sequential、Conjunctive、Conditional、Hierarchical 四类结构，使评测从单步点击匹配扩展到长序列进度和分支选择；包含 830 个复杂 episode、11,345 个动作，横跨 Android 与 iOS。

Research Problem

已有数据常以模板替换或线性拼接扩展任务，缺少应用特定条件和 fallback 分支。Exact Match 与整条全对的 Success Rate 又分别过于局部或过于稀疏，难区分任务中后段的进度损失和条件判断错误。

Insight

任务难度不仅由动作数量决定，也来自约束联合满足与屏幕条件驱动的分支。以图结构控制这些因素，再单独度量动作序列与决策节点，能定位不同失败类型；但正文评测每步提供标注截图、局部指令和约束，属于受控动作预测诊断，不能直接视作自由在线完成率。

Method

1. 人工为每个 app 提供可执行 atomic instructions，多种 LLM 根据 app 描述扩写，并为每条提出数值、阈值、布尔、时间或偏好约束；模型筛选和人工验证去除不可执行、重复与简单 slot 替换。
2. 采样任务图结构、长度和分支深度，LLM 选择 atomic nodes、绑定约束边并生成全局指令。混合多个生成器后再检验逻辑与真实性，形成顺序链、无固定顺序的合取、二叉条件与嵌套条件任务。
3. 20 名标注者在真实 Android/iOS 手机执行并记录截图、局部指令、动作及参数，使用统一动作集；允许标记不可完成任务，随后双人及作者复核，并额外构建 250 条原子任务对照。
4. 除 EM、Type Match、SR、Goal Progress 外，W-LCS 对与 gold 序列匹配的位置按序号加权，给予后部正确动作更高权重；Decision Accuracy 单独统计条件节点的正确分支。
5. 按各 Agent 官方实现测试并映射统一动作，每步输入全局指令、局部指令、当前标注截图及适用约束；按结构与长度分析组合任务带来的性能下降。