Current Agents Fail to Leverage World Model as Tool for Foresight

Idea

本文实证检验现有 VLM agents 能否把外部 world model 当作 foresight 工具，而不是提出新的 simulator。通过控制工具不可见、可选和强制使用，分离“有预测能力可用”与“agent 能正确调用、解读并采取行动”的差别。

Research Problem

常见假设是给 agent 更好的模拟未来能力即可改善规划，但工具是否被调用、假想状态是否被误认，以及模拟信息是否真正改变后续行动，都缺乏系统检查。若只比较最终任务分数，模拟器质量与 agent 使用策略也会混在一起。

Insight

对交互任务提供精确环境克隆后，world-model access 仍未稳定带来收益，说明至少在这些协议下 agent-side integration 是独立瓶颈。论文将问题归纳为决定模拟什么、如何解释和何时行动；调用次数与失败的相关性则不能单独证明模拟本身导致失败。

Method

1. 统一交互接口允许 agent 选择在真实环境执行 action 或向 world model 查询，后者只把 predicted state 加入历史，不改变真实 state，并共享最大步骤预算。
2. 设置 WM Invisible、Normal optional 和 WM Force 三种 prompt 条件；主要比较前两者，强制模拟用于交互任务以检查 mandatory foresight 是否有益。
3. 交互任务使用 FrozenLake、Navigation、PrimitiveSkill、Sokoban，world model 以当前环境 state 克隆实现 oracle dynamics；静态空间 VQA 使用 Wan2.1 生成预测视觉，并用 Wan2.2 作稳健性检查。
4. 跨九个开闭源 VLM 比较 task success、VQA accuracy 和至少调用一次的使用率，进一步按样本区分 WM Helps/WM Hurts。
5. 借助 GPT-4o 标注主要及辅助归因，分析 action loops、over-planning、状态解释与模糊 simulation requests 等，并研究任务类型和调用次数的关联。