From Off-Policy to On-Policy: Enhancing GUI Agents via Bi-level Expert-to-Policy Assimilation

Idea

BEPA 用两级 expert-to-policy assimilation 把强 GUI expert 的轨迹转成当前 end-to-end policy 能学习的指导：先让学生按专家计划自行执行，再用其新产生的成功轨迹持续刷新缓存。仅当一组 on-policy rollout 全失败时，才注入一条成功缓存轨迹。

Research Problem

可执行 GUI 任务和 expert demonstrations 数量有限，而 framework-based expert 常含多角色规划、grounding 或学生动作空间外的操作。简单格式转换或把静态专家数据混入 RL，仍会留下结构与分布差异，导致训练不稳定甚至退化；纯 on-policy RL 又容易因稀疏奖励陷入全失败。

Insight

专家的价值可以保留为高层计划，具体动作应由学生在环境中重新实现，以靠近其可达分布。随着策略改变，旧指导也会过时，因此缓存应由当前策略的成功替换；条件注入既为无差异失败组提供正信号，又让可自主探索的任务继续由自身 rollout 驱动。

Method

1. LEVEL-1 将成功 expert trace 抽象成简短自然语言 subgoal plan，附在原指令后，让 base policy 在真实 GUI 中 self-roll；只保留通过确定性最终状态 verifier 的轨迹，初始化每任务 guidance cache。
2. LEVEL-2 每轮为任务采样一组 on-policy 轨迹；若其中存在成功，默认随机选一条更新该任务缓存，使指导随策略演化而变化。
3. 若所有新轨迹失败且缓存非空，则用缓存成功轨迹替换一条失败轨迹，重新计算 group-normalized advantages 并应用 clipped GRPO。混合训练使用原始指令，移除 LEVEL-1 的专家计划前缀。
4. 在 OSWorld-Verified 中按 expert 或 base policy 可解性构建有信息的任务池，使用 128 个训练任务、241 个 held-out 任务，并测试 MMBench-GUI 与 Online-Mind2Web 的迁移，比较静态专家混合与两级适配的效果。