VLN-MME: Diagnosing MLLMs as Language-guided Visual Navigation Agents

Idea

VLN-MME 用可互换的 Model、Agent、Task 模块和预渲染导航资产，降低比较 MLLM navigation agents 的成本，并把 memory、CoT 与 self-reflection 的影响分开诊断。它提供的核心是评测和消融框架，而非新训练的导航策略。

Research Problem

高保真 simulator 与大型 VLM 的组合成本高，不同模型、任务和 agent designs 的实现又彼此耦合，研究往往只能报告最终成功率。由此难判断差异来自 backbone、空间记忆、prompting 还是导航任务本身，也难检验静态视觉能力是否能迁移为长程行动。

Insight

离散导航图中各 viewpoint 的图像可以预先缓存，评测无需每步渲染，但仍可保留路径选择与跨视角推理。把模型接口、提示/记忆策略、任务数据独立替换，便于在一致设置下观察复杂 reasoning 是否真正改善空间决策。

Method

1. 实现统一 Model API、Task 数据入口与 Agent 决策模块，由 Runner 交换观察/动作并记录轨迹。Agent 比较 text-summarized history 和 topological text map 两类记忆，各含 direct、CoT、reflection 及组合四种配置。
2. 从 R2R、REVERIE、ObjectNav 的 val-unseen 数据按场景、路径难度与语言等维度抽样，ObjectNav 额外平衡目标类别；以既有方法在完整集与抽样集的指标相关性检验代理评测集代表性。
3. 缓存每个位置四张 90°、不重叠 perspective images，按 connectivity graph 标记可导航方向，并按 global heading 排序；用描述性 captions 辅助依赖语义记忆的 agent，运行时从磁盘读图而不加载完整渲染器。
4. 在多种开闭源模型上零样本比较八种 agent 配置，统计 SR、SPL、navigation error、oracle success 和路径一致性等指标，并通过 component ablation 与案例检查 CoT/reflection、记忆和空间决策的关系。