AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation

Idea

AwareVLN 用同一 VLM 生成导航动作和结构化 self-aware reasoning，在 subtask completion、path deviation 与 stopping error 等关键时刻解释所处场景、完成进度和下一步意图。Reasoning 的最近结果回到后续决策上下文，使导航状态可以被显式检查与修正。

Research Problem

直接由 RGB 和指令预测动作的端到端 VLN 缺少对自身进度及路线偏差的明确表达。显式地图方法能提供规划结构，却常依赖 depth、pose 和 SLAM。需要仅用单目 RGB 的推理机制，同时避免每步长思考带来的执行开销。

Insight

导航中的重要推理通常发生在语义阶段切换或实际观察偏离预期之时。稀疏触发的 scene–progress–plan 三元结构把当前感知与指令进度连接，比自由描述更能约束下一行动，并可用模拟器中可获得的空间信息生成训练监督。

Method

1. 统一 policy 读取 instruction、均匀采样的观察 history、上一次 reasoning 及距离该 reasoning 的步数，以特殊 token [REASON]/[ACT] 选择模式。ACT 输出运动文本并解析为 forward、turn、stop primitives，REASON 更新持久的最近 reasoning。
2. Reasoning 按 scene description、progress assessment、next-step plan 顺序生成，在子任务结束、走偏或终点判断错误时解释并调整，不为每个低级动作重复完整推理。
3. Automatic Data Engine 在 Habitat 中结合 expert following 与 DAgger trajectories，利用 room-category changes、ground-truth waypoints 和偏差阈值识别关键节点，并保存纠偏过程观察。
4. Qwen-VL-Max 先读取完整 episode，再按节点读取历史画面、room transition、进度及纠偏信息生成监督。模型预训练混合导航与 VQA，随后用 reasoning-augmented trajectories 和额外人类视频微调；推理只依赖 RGB，不访问训练时的 simulator state。