On-policy Reinforcement Fine-tuning with Offline reward for Multi-step Embodied Planning

Idea

ORBIT 用 offline expert trajectories 提供奖励，却由当前 policy 采样候选进行 GRPO：输入某一步专家观察和历史，预测剩余动作序列，再按与专家的正确前缀长度评分。它以较便宜的序列比较替代训练中的 simulator interaction。

Research Problem

embodied planning 的在线 RL 需要昂贵的视觉模拟与多步环境调用，终局成败信号又稀疏，难以稳定优化。SFT 虽便宜，却直接强制模仿固定输出，难为模型自己的 reasoning 与候选方案提供相对选择信号。

Insight

训练状态固定并不妨碍输出由当前策略采样，因此可以在 offline contexts 上保留 on-policy policy optimization。正确的连续动作前缀提供比终局二值更密集的比较信号，而奖励只约束动作匹配，不必逐 token 规定 reasoning 内容。

Method

1. 将 ALFRED 专家轨迹按每个时间步拆为训练样本，输入 goal、该步视觉 observation 及先前动作，参考答案是其后所有动作，得到 43,898 个 RFT samples；训练中不调用环境产生新状态。
2. 先用专家风格示范做 SFT，建立格式与规划先验。随后每个输入从当前 policy 采样一组剩余动作方案，找与专家动作完全一致的最长前缀 n，以 n(n+1)/[k(k+1)] 给 accuracy reward，并加入格式奖励。
3. 用 GRPO 的组内相对优势与 reference-policy regularization 更新模型；在线过滤 perfect-reward 比例过低或过高的 prompt groups，以保留有区分度的学习信号。
4. 评测时回到真正的部分可观察多步决策过程，每次观察后行动并接收新环境状态，在 EmbodiedBench 中比较任务成功、迁移、训练成本和次优专家数据鲁棒性，同时给 offline/online reward 差异做理论分析。