Context-Nav: Context-Driven Exploration and Viewpoint-Aware 3D Spatial Reasoning for Instance Navigation

Idea

Context-Nav 用完整自然语言描述同时引导全局探索与候选实例验证。它在线建立 context-conditioned value map 和 instance-level 3D map，先走向符合颜色、上下文对象及空间关系的区域，再通过 intrinsic VQA 和 viewpoint-aware 3D predicates 确认是同类别中的指定对象。

Research Problem

Instance navigation 不能只找到任意同类物体。已有方法常把长描述压缩成类别或短属性，探索被早期检测误导；而 left / behind 等关系取决于描述者未知视角，直接用当前相机坐标或无视角规则容易错误停止。

Insight

上下文不只是看到候选后的过滤条件，也可以提供尚未发现目标时的探索先验。对于空间描述，应检验是否存在一个合理观察视角使全部关系同时成立，这比对每条关系分别寻找解释更能排除语义似是而非的实例。

Method

1. 解析目标与 context 名词并规范类别，用 open-vocabulary detector、segmenter 和类别相关验证获得对象观测，再由 depth / pose 投影成点云。先按中心邻近、再按 voxel overlap 融合实例，另以 RANSAC 垂直面建立 wall-only room map。
2. GOAL-CLIP 编码完整目标及属性上下文，投影图文相似度到俯视 value map，选择高分 frontier；若已见目标但同房间 context 未见，可一次性转向房间内最近未探索 frontier，底层调用现成 PointNav。
3. Intrinsic verification 对每个属性生成多个 yes/unknown/no VQA，框出候选供 VLM 判断；不确定时记录后续五帧，取图文相似度最高帧重新询问，避免立即拒绝。
4. Extrinsic verification 先按房间和距离筛 context pairs，再围绕关系中心采样多半径、多方位 observer poses，建立 viewpoint-aligned 坐标，检验 left/right/front/behind/near/above/below。只有同一有效 viewpoint 同时满足所有关系才接受目标，否则继续探索。