ProFocus: Proactive Perception and Focused Reasoning in Vision-and-Language Navigation

Idea

ProFocus 在 training-free VLN 中把主动视觉取证和历史候选筛选联动起来。Orchestration Agent 根据导航需求向 Perception Agent 提问并指定 crop region，信息充分后由 Branch-Diverse MCTS（BD-MCTS）筛选少量有价值且方向多样的 waypoints，再交给 Decision Agent 深入推理。

Research Problem

被动处理全景图会消耗大量 visual tokens，预先生成固定描述又可能遗漏颜色、纹理和空间关系。历史记忆随导航增长后，平等读取所有帧、文字或图节点会稀释关键路径信息。仅按 recency 抽样难在 backtracking 时重新找到与当前目标相关的旧 waypoint。

Insight

需要看什么应由决策中的信息缺口决定，而需要回忆什么应由候选路径的价值决定。显式 semantic map 提供可查询的对象和方位，语义估值与路径访问统计再将大量历史压缩为可比较候选，保留多个分支可减少过早锁定错误方向。

Method

1. 将 panorama 切为重叠 directional views，用 VLM 检测对象 boxes，结合 SAM2 masks 与 monocular depth 获得距离，并由像素位置计算 heading，形成对象、方位、位置和深度的 ego-centric semantic map。
2. Orchestration Agent 结合 map、instruction、trajectory caption 与 query history 提出问题和 focused region，Perception Agent 读取该 crop 返回细节。循环检查 information sufficiency，直到足以给新 waypoints 估计 semantic values。
3. BD-MCTS 维护无环 search tree，以 semantic evaluation 替代随机 rollouts，并沿当前路径回传新候选平均 value、更新访问次数。对叶节点汇总祖先 value，以 graph shortest-path distance 加距离惩罚。
4. 按分数选择 top-k leaves，限制同一 parent 最多贡献两个 children 保持分支多样性。Decision Agent 检索候选路径相关 memory，选择下一 waypoint，执行后更新 context 和 trajectory caption，再进入新一轮感知。