History to Future: Evolving Agent with Experience and Thought for Zero-shot Vision-and-Language Navigation

Idea

EvoNav 为 zero-shot VLN-CE 联合使用 Future Chain-of-Thought（F-CoT）与 History Chain-of-Experience（H-CoE）。前者预测尚未执行的动作与地标，以判断当前进展；后者将完成任务的轨迹总结和已访问场景存入经验库，在后续导航中检索，形成不更新模型参数的经验积累。

Research Problem

直接根据当前图像和指令生成下一动作，容易在首次误判后持续偏离。仅存储地图几何的 lifelong memory 对同一场景有用，却未必包含可迁移的任务经验。已有 zero-shot agents 缺少对历史错误的总结，以及利用未来动作反推已完成步骤的进度判断。

Insight

未来预期和历史经验提供互补约束：下一步动作能界定尚未完成的指令部分，未来地标可作为定向检索 query；过往成功、失败及低效路径的总结则提供任务级决策经验。将文字轨迹和视觉场景分别编码，能同时利用相似任务逻辑和相关外观线索。

Method

1. 输入为 12 个方向的 panoramic RGB-D observations 和指令，标准 waypoint predictor 产生候选视点。F-CoT 将指令解析为 temporal sub-actions 与 spatial landmarks，再结合历史预测 future action、已执行动作和 future landmark。
2. 每个 episode 完成后，根据预测与 ground-truth paths 计算 NE、SR、OSR、SPL。LLM 对失败任务总结错误与修正路线，对高效成功复用过程，对低效成功提出优化，连同指令和轨迹写入 Chroma。
3. 用当前指令中的完整 landmarks 检索相关 trajectory experiences。每一步结束后另外保存场景文本描述与 CLIP visual embeddings，并用 future landmark 分别做 text-description 和 text-visual retrieval。
4. Action prediction 联合当前 views、动作与地标解析、进度估计、历史轨迹和检索出的两类经验，输出 reasoning、view description 和下一 waypoint，再更新导航历史。经验只来自已完成 episodes 或先前 steps。