Experience-driven Multi-turn Reinforcement Learning for GUI Agents

Idea

EMPO把专家GUI轨迹作为可复用的环境经验，在离线截图序列上进行带自生成历史的multi-turn RL。模型动作与经验匹配时沿专家状态前进，偏离时由Patch Module注入正确动作及可选合成推理，让rollout继续到后续步骤，并以未来回报和两层advantage优化长程行为。

Research Problem

single-turn RL训练时使用专家历史，部署时却面对自己的推理和动作，造成history distribution mismatch；真正在线multi-turn RL可缓解这一问题，但GUI交互昂贵、回报稀疏。直接在离线轨迹上遇错就停止，则大量后续状态无法用于训练，限制数据利用和长程credit。

Insight

专家轨迹同时记录了动作与对应下一状态，因而对匹配动作可充当受限transition oracle。让模型保留自己的成功推理历史可更接近部署输入；必要时修补历史能保住后续训练机会，但该过程仍受专家路径限制，不能等同于任意动作下完整的在线探索。

Method

1. 从公开human trajectories抽取截图、动作与任务，当前policy在自生成history上采样多条rollout；仅当format、action type和准确性均匹配经验时，才转移至专家下一截图。
2. 遇到不匹配时用expert action替换，并分别尝试无推理、teacher生成推理或当前policy在expert hint下生成推理的Patch策略；设最大patch次数，修补后的history继续用于后续生成。
3. 按格式、类型、动作准确性构造分层rule reward；在每个未被patch打断的自然segment内累计discounted future returns，将同一步跨rollout的标准化advantage与episode-level信号组合。
4. 用token级clipped policy objective及KL约束更新，动态采样确保advantage有足够方差；比较SFT、single-turn GRPO/DAPO和EMPO，最终UI-S1以SFT cold start后用1000条experience做RL，并在离线与在线GUI任务验证。