NaturalGAIA: A Verifiable Benchmark and Hierarchical Framework for Long-Horizon GUI Tasks

Idea

NaturalGAIA 将可验证的知识关系路径与自然语言叙述分开，构造含隐含指代、乱序意图和跨 app 依赖的长程 GUI 任务；LightManus-Jarvis 则把全局任务调度和局部界面执行分给不同模块，并随执行反馈更新下一步参数。

Research Problem

纯自然任务的评测常依赖主观判定，简化任务又不能呈现真实请求中的上下文和多步依赖。单体 GUI Agent 在长历史中容易丢失中间实体，纯视觉坐标预测还可能使正确计划在实际点击时失败。

Insight

先固定实体关系链及终态，再改变指令表述，可以控制逻辑正确性与语言复杂度。执行系统相应分开维护全局依赖和当前界面 grounding：前一子任务结果进入 memory，后一任务据此改写；XML 的 UID 则给动作提供可解析目标，而不是要求模型重新猜坐标。

Method

1. 从 Wikidata 等知识图谱提取实体—关系 traversal，把每次检索下一实体定义为 atomic task 和其 gold output；依据目标实体属性映射候选 app，形成跨应用执行路径。
2. 给路径加自然叙述，打乱 atomic intent 次序、加入无关信息，并将显式常量替换为上下文指代；按路径长度和应用数构建三个难度层，共 276 个任务。
3. 独立 verifier 同时检查最终答案与目标 app 的终屏/XML 状态，避免仅凭内部知识答题。WPSR 按路径与应用复杂度加权，MATCR 衡量连续完成前缀，p-ATSR 更重后段成功，再区分知识、感知、操作错误。
4. LightManus 根据 capability library 将意图解析为带描述、依赖 slot、执行者、环境和生命周期的任务拓扑；执行反馈进入全局 memory，Context Evolution 改写下一步描述，实现隐式参数传递和动态调度。
5. Jarvis 同时读取压缩截图与经 viewport/可交互性筛选的 Accessibility tree，将元素表示为 UID、Class、Text、Bounds。模型结合历史生成推理和动作，UID 映射 ADB 点击，输入按字符使用键盘或广播，另支持手势和系统导航。