GUI0: Self-Evolving Foundational GUI Agents in Super App Ecosystems

Idea

GUI0将Super App中的GUI学习做成数据合成、能力预训练、actor强化和curriculum agent协同演化的流程。它先从真实交互建立感知与状态变化基础，再让任务生成者围绕当前actor约一半可完成的难度持续出题，推动学习超出固定指令集合。

Research Problem

Super App的mini apps具有非标准控件、混合渲染和深层导航，通用GUI训练难以充分覆盖；固定SFT轨迹和静态RL任务也容易在模型掌握后失去挑战。仅提高点击grounding不足以应对长程任务，需要感知、动作效果理解和可随能力变化的训练分布。

Insight

同一批交互不仅可监督下一动作，也能反向推断任务、学习screen描述和前后状态关系。先形成共同GUI基础，再依据actor实际成功率生成边界难度任务，可让课程随着能力增长而变化；成功过的rollout同时作为生成指令可执行性的经验依据。

Method

1. 用Action Tracker记录截图和交互，按image hash串联状态—动作—下一状态并剪除循环；VLM反向生成instruction和CoT，经VLM过滤及人工核验，构造state transitions、screen descriptions、multi-turn VQA、reflection和trajectory reasoning五类数据。
2. 在2.34M合成样本上做Agentic CPT，再用带CoT的轨迹SFT actor；single-step GRPO结合格式、think/action一致性、subgoal F1及类型匹配后的坐标和文本奖励，强化单步执行。
3. 转入online multi-turn GRPO，以格式及大模型判定的trajectory success训练完整任务；Curriculum Agent从CPT初始化，与Actor共同更新，奖励min(S,1−S)偏好成功率近0.5的任务，并加入有上限的长度奖励。
4. 以至少一次actor rollout成功作为instruction valid gate，持续扩展课程；在230个任务、172个mini apps的SuperAPP Benchmark及AndroidControl、ScreenSpot、AndroidWorld等环境测量step或task成功，SuperAPP成功需自动评价与人工核验一致。