Progress-Think: Semantic Progress Reasoning for Vision-Language Navigation

Idea

Progress-Think 为 VLN 显式预测“已经完成的指令语义”，再以该进度文本条件化导航 policy。框架利用 observation sequence 与 instruction prefix 的单调共同推进，自监督启动 progress module，再让进度估计与动作策略在多阶段训练中共同适配。

Research Problem

直接从视觉与整段指令预测动作，容易在长程导航中丢失当前子目标位置。以距离比率等数值代表进度也不能说明完成了哪段语义。已有数据通常缺少逐步子指令标签，大量人工或强模型补标又昂贵且不一致。

Insight

遵循示范路径时，观察历史应对应指令的某个前缀，后来的已完成前缀不应倒退。把前缀长度当作 latent alignment，可从原有轨迹与完整指令学习语义进度，再以动作监督校准其对导航是否有用。

Method

1. Progress Reasoning Module 根据当前与历史图像生成已完成的 instruction-style span。以预测文本与各长度指令前缀的 cross-entropy 构建 soft prefix distribution，通过期望获得可微的进度位置。
2. Self-Aligned Progress Pretraining 联合 Prefix-Subset Soft Cross-Entropy 与 Monotonic Ordering Loss，惩罚同轨迹较晚时刻的预测进度小于较早时刻，无需额外 subgoal labels。
3. 冻结 PRM 进行 Progress-Guided Policy Pretraining，VLA 接收原指令、当前/历史观察及预测进度，以 oracle 与 DAgger trajectories 的下三步动作做 supervised cross-entropy。
4. Progress-Policy Co-Finetuning 对每个状态采样多个 progress hypotheses 及对应动作，用 GRPO 联合更新两模块。Reward 为动作最长正确前缀长度、合法格式和进度文本长度约束，超出完整指令长度才施加 over-generation penalty。