UI-Copilot: Advancing Long-Horizon GUI Automation via Tool-Integrated Policy Optimization

Idea

UI-Copilot 让 GUI policy 专注动作执行，把历史事实检索和数值计算交给按需调用的轻量 copilot。它将 progress summary 与详细 observation/reasoning 分离存储，并通过 Tool-Integrated Policy Optimization（TIPO）分别学习何时调用辅助工具和怎样完成多步交互。

Research Problem

长程 GUI 中完整 thoughts 与 action history 交织会造成 memory degradation、progress confusion 与 math hallucination。已有小型 agents 在短程任务可用，但跨应用记住价格、执行汇总计算时容易遗漏或重复操作，固定 multi-agent workflow 又带来额外调用成本。

Insight

任务执行所需的短期状态与之后可能复用的细节应采用不同 memory lifetimes。保留简短已完成事项可清晰跟踪进度，详细事实外存后再取回；工具选择先用有标签单步学习，动作执行再用自身历史多轮训练，有利于避免联合探索过大。

Method

1. 推理 policy 输出 tool call、thought、action 与 summary。Retriever copilot 读取本地历史知识、当前任务和 summaries 返回相关事实；Calculator copilot 生成 Python，再由 interpreter 返回实际计算结果。
2. 对话 history 仅累积 action 与 progress summary，完整 thought 和显式观察外存到知识文件，下一步不默认重放全部推理。Policy 可选择 Retriever、Calculator 或 none。
3. 从 AndroidControl expert trajectories 用 GPT-4o 补注 tool/thought/summary，再合成 memory-intensive 和 calculation-needed queries，划分 SFT 与两类 RL 数据。先 SFT 初始化 policy，copilot 本身不参与 policy 训练。
4. TIPO 对 tool 数据用 expert summary history 做 single-turn prediction，并按格式与工具标签奖励；对 action 数据做无工具的 on-policy multi-turn rollout，以格式、action type、grounding accuracy 和 discounted future reward 优化，再以 group-relative clipped objective 与 KL 更新。