DecoVLN: Decoupling Observation, Reasoning, and Correction for Vision-and-Language Navigation

Idea

DecoVLN 解耦持续 observation、动作 reasoning 和 corrective fine-tuning，以紧凑历史记忆支持长程 vision-and-language navigation。Adaptive Memory Refinement（AMR）按指令相关性、视觉差异和时间覆盖选择帧，而纠错阶段只收集与专家轨迹仍相关的偏离状态，减少误差累积与训练污染。

Research Problem

Stop-and-Think 导航在动作期间缺少连续感知，可能漏掉关键线索；全历史 streaming 或固定抽帧又造成冗余和时序信息稀释。已有 imitation correction 若收集偏离过大的状态，会把与原指令弱相关的动作加入训练，妨碍有效恢复策略的学习。

Insight

好的 navigation memory 既要保留目标相关场景，也要避免视觉和时间上的重复，三者需要共同权衡。纠错监督的价值取决于当前状态离原任务轨迹有多远，因此应在 state-action 粒度定义可信区域，而不是保留或丢弃整个 episode。

Method

1. Agent 移动时持续获取 RGB frames，AMR 从候选历史池逐次选择 K 个 memory frames。score 奖励 frame-instruction embedding cosine similarity，并惩罚与已选帧的最大视觉相似度及时间接近程度。
2. 推理使用 instruction、memory bank 和最近四帧，基于 LLaVA-Video-7B 自回归预测包含四个连续动作的 action chunk。默认 memory size 为八，在固定容量内保留更广且相关的历史。
3. 先用 Matterport3D 中 R2R-CE、R2R-Envdrop、RxR-CE 的 oracle trajectories 训练导航，再让当前 policy rollout。每步计算到专家路径最近状态的 geodesic distance，作为 deviation metric。
4. 偏离大于零但未超过阈值时，查询 Habitat shortest-path follower 获取 corrective action 并保存 state-action-observation；超过阈值即终止该轮收集。纠错微调混入 LLaVA-Video-178K，以保留基础 multimodal reasoning 能力。