FantasyVLN: Unified Multimodal Chain-of-Thought Reasoning for Vision-and-Language Navigation

Idea

FantasyVLN 将 textual、compact visual、multimodal 与 non-CoT 四种导航模式放入同一模型联合训练，并通过 cross-mode alignment 统一动作决策。部署主路径直接从指令和观察输出动作，把训练时的 reasoning 作用保留在共享表征中，减少在线显式 CoT token。

Research Problem

Text-only navigation CoT 常把观察压成 caption，丢失视觉空间信息，也受稀疏推理标注约束。Visual CoT 虽能想象下一场景，却要生成大量像素或视觉 tokens，长程导航时延显著。只混合多种模式训练又可能让同一输入产生不一致动作。

Insight

未来视觉状态的粗尺度 latent 可以承担空间预测监督，而无需实时完整生成图像。共享参数配合动作分布对齐，让不同 reasoning 模式约束同一导航表示。对齐方向以更新后的 non-CoT mode 为 reference，不能简单概括成显式 CoT teacher 蒸馏到 direct student。

Method

1. 采用冻结 pretrained Visual AutoRegressor（VAR）并建立联合词表，VLM 预测 early-scale future-image latents 及动作，VAR 可继续 next-scale decoding 成图像，训练中以紧凑 latent 支持 visual imagination。
2. 用两个 binary gates 控制 text/vision reasoning，有四种模式。Text CoT 分解任务并确定当前子任务，visual CoT 预测未来观察，multimodal CoT 生成成对图文过程，non-CoT 直接预测动作。
3. 对各模式训练 causal cross-entropy。Cross-mode training 先用 expert action 更新 non-CoT path，再对该 path 新预测 stop-gradient 得到 soft targets，让三个辅助模式的动作对齐，同时保留各自 CoT supervision，交替优化共享参数。
4. 在线选择 non-CoT path 进行 instruction-to-action 导航，避免显式 text/visual reasoning 解码。评测 LH-VLN 的未见环境和任务，比较不同 CoT、memory baselines 以及成功率与执行延迟。