Towards Open Environments and Instructions: General Vision-Language Navigation via Fast-Slow Interactive Reasoning

Idea

slow4fast-VLN 将快速 DUET navigation policy 与 LLM 慢反思连接起来。Fast module 执行动作并记录轨迹，slow module 把轨迹总结成可复用的场景与空间经验，再将检索到的经验编码为向量融入 policy，而非每次困难都独立调用昂贵规划器。

Research Problem

传统 VLN 往往在住宅场景与相近指令风格上训练测试，在商场、办公室等 OOD 建筑及 user-style instruction 上会出现不稳定路线判断。把 fast/slow 分成互不影响的模块虽然能临时处理困难，却无法让先前慢推理改善未来快速决策。

Insight

慢反思的价值在于抽取跨具体轨迹复用的 spatial rules 和 navigation strategies，并通过可学习接口影响 fast policy 的视觉表征。当前场景检索相关经验可让经验以局部条件进入决策，语言风格规范化则减少与导航语义无关的分布变化。

Method

1. Fast reasoning 采用 DUET 的动态 topological map 与 coarse/global、fine/local 双尺度行动评分，输入 panorama、GPS、neighbor-node information 和历史。Llama3.2-vision 为节点生成描述，记录动作、局部拓扑、stop probability 与 episode metrics。
2. Slow LLM 使用结构化 CoT prompt 反思轨迹，将经验存为 scene type、spatial context、spatial rules、navigation strategy、历史 success rate 与 occurrence frequency 等字段，组成有容量限制的 Experience Library。
3. 按当前场景、空间与策略特征计算 similarity，选阈值以上的最相关经验，经 embedding 和线性层编码。以 visual features 为 query、experience features 为 key/value 做 multi-head attention，拼接并投影后替换 policy 的视觉输入。
4. 对 Scene/User style instruction 用 LLM 转为保留核心语义的 Basic style，并按 conversion confidence 决定接受或保留原文。在 GSA-R2R 的住宅与非住宅场景、不同指令风格上比较 navigation error、SR、SPL 与路线一致性。