Android Coach: Improve Online Agentic Training Efficiency with Single State Multiple Actions

Idea

Android Coach 将在线 GUI RL 的训练单位从 Single State Single Action 扩展为 Single State Multiple Actions：昂贵 Android rollout 提供状态，策略在这些状态上重采样多个动作，再由在线训练的 critic 估值，以增加每次真实交互产生的训练信号。

Research Problem

模拟器初始化、恢复和环境步进占据大量训练时间，普通 PPO/GRPO 往往仅利用一条 rollout 中实际执行的动作。直接为同一 GUI 状态分叉执行多个长程轨迹又受环境不可逆性限制，初始不可靠的 critic 也会误导策略。

Insight

额外动作的比较可以在模型侧完成，而真实环境负责校准 critic。PRM 的逐步正确性和最终成功共同形成回报，使 critic 具有局部及长期目标；同状态候选动作的平均价值提供 baseline，无需再学习单独的 V 网络。其收益依赖预测价值的质量，并非额外动作都得到真实执行验证。

Method

1. 从 AndroidControl 和初步 rollout 收集成功、无冗余轨迹；初始策略生成动作，与原成功动作匹配得到正负标签，GPT-4o 补判断理由，形成约 20k 样本，以 SFT 训练先推理再判断的 PRM。
2. critic 使用与策略相同架构并加 value head，先在上述二元分数上预训练；随后策略在并行模拟器中收集完整轨迹，PRM 标注过程奖励，Outcome Verifier 给最终成功奖励。
3. 组合加权过程回报与 outcome reward 生成 Monte Carlo target，以 clipped MSE 更新 Q critic，避免训练初期直接用未经准备的价值估计指导 actor。
4. 复用每个线上状态，从当前策略独立采样 k 个动作，以 critic 预测各 Q；ACLOO advantage 为该动作 Q 减去其余 k−1 个动作的平均 Q，以 PPO clipped surrogate 更新 actor，不增加这些候选的模拟器执行。
5. 交替执行 rollout、critic 更新、候选采样与 actor 更新，在 AndroidLab、AndroidWorld 比较任务成功率和达到相同成功率所需训练时间。