Breaking Down and Building Up: Mixture of Skill-Based Vision-and-Language Navigation Agents

Idea

SkillNav 将 VLN 政策拆成五个 skill-specific DUET 专家，并用无需训练的 VLM router 在每个时间步选择一个专家。高层先重排时间关系、定位当前 subgoal，低层仍利用原完整指令、当前视觉与在线拓扑图输出导航动作。

Research Problem

端到端 VLN 即使依赖大量 augmentation，也可能对新语言风格和新场景泛化不足；纯 LLM 零样本规划又缺精确空间 grounding。多 generalist 同步讨论会增加冗余，且冲突可能退化为无空间训练的决策。

Insight

将可训练空间动作技能与灵活语言组合分离，允许专用 Agent 保持 grounding、router 负责上下文中的技能切换。Temporal Order Planning 没有作为第六个并行专家，而是用于 backbone 训练和高层重排；执行专家接收完整原指令，避免局部目标割裂整体导航约束。

Method

1. 基于 NavNuances 定义 Direction Adjustment、Vertical Movement、Landmark Detection、Area/Region，再加 Stop/Pause 与 Temporal Order；从 Matterport3D 抽 4–7 步路径，按转弯、楼层等 skill heuristics 筛选，GPT-4o 结合观测生成自然指令。
2. 先以 R2R、ScaleVLN 或 SRDF augmentation 及 temporal 数据训练 skill-agnostic DUET；再分别用五类 skill 数据微调出五个 specialist。各自保持 DUET 的局部全景 grounding 与全局拓扑 map 结构。
3. 推理先仅根据完整指令生成显式有序 subgoals，把 before、after、until 等时间关系展开；该重排列表只辅助高层定位，不替换专家输入的原指令。
4. Subgoal Localizer 根据重排指令、视觉历史与已执行目标确定下一 subgoal 并给出理由；Skill Router 综合原指令、目标和理由进行 top-1 选择，每步只调用一个专家，专家再据视觉和 map 输出邻接节点移动或 stop。
5. 在 R2R unseen、跨场景/指令风格 GSA-R2R 及长程 RxR-English 评估，区分 SR、SPL、OSR、导航误差和路径一致性，比较不同 augmentation backbone 与模块消融。