Recurrent Reasoning with Vision-Language Models for Estimating Long-Horizon Embodied Task Progress

Idea

R2VLM 以 recurrent reasoning 估计长程具身任务进度，每次只读取新的短 video snippet 与上一轮 CoT，更新任务分解、已完成和待完成步骤，再输出 progress percentage。CoT 同时是可解释判断和跨片段的状态记忆，避免反复处理完整长视频。

Research Problem

GVL、ROVER 等主要利用视频理解和长 context，未充分处理多子任务之间的顺序依赖，长视频成本也不适合连续在线估计。单帧或局部片段看不到过去已完成的步骤，仅依据外观或已流逝时间又容易把与目标无关的行为当作进度。

Insight

任务进度可由结构化步骤完成度承载，比整段原始视频更紧凑。新的观察不仅更新 completed status，也允许 merge、split 或 reorder 旧分解，从而在部分可观测条件下校正记忆。前缀相同而后续目标不同的 distractor tasks 能迫使模型区分视觉动作与目标相关完成度。

Method

1. 从 ALFRED 与 Ego4D 的任务说明、expert videos 和带时间戳步骤构建短 snippets，每段采四帧。Progress 以已完成子步骤比例为基础，并在当前步骤内线性插值，区别于对整段视频直接按时间线性分配。
2. 用大模型生成前若干步骤相同、后续目标不同的 distractor descriptions，并将其进度封顶在相关步骤比例。利用已知步骤与状态生成分解、完成分析、进度估计三部分 CoT supervision。
3. 先 SFT 学习 recurrent 格式，再从 early checkpoint 做 multi-turn PPO，当前轮输入上一轮模型生成的 CoT 与新 snippet，输出更新 CoT 和数值；允许旧任务结构根据观察动态调整。
4. RL reward 以格式门控，结合阶段 bin、细粒度 MAE、相邻轮误差改善及 finish detection。作者采用 PPO 以逐样本计算 advantage，评测 progress/增量误差、阶段正确率及完成识别，并将进度用于 policy learning、reward modeling 和主动协助。