Model-Based Imaginative Planning for Embodied Agents

Idea

IMPLEMENT用可学习的symbolic world model支撑冻结LLM planner在测试时进行imagine–evaluate–refine。world model将视觉观察转成object-centric state，并预测候选动作的可能结果；planner按需请求多次模拟、比较方案并修订，以in-context方式改善决策而无需更新planner权重。

Research Problem

直接让LLM从图像规划容易忽略物理affordances与局部可见性，完全依赖expert demonstrations训练policy又昂贵且难适应新环境。通用零样本LLM world models缺少视觉状态对齐，policy与环境预测分离也难利用本次任务中的失败经验。

Insight

感知和预测应明确分离：观察模式只写入已确认事实，预测模式只推测候选action相关变化。紧凑的符号状态降低视觉噪声和context负担；训练模型利用同环境history，可让新观察和失败成为测试时预测依据，再将多次模拟压缩为belief summary供LLM比较。

Method

1. 用location、inventory、object/receptacle属性及关系表示state；每步感知以新视觉证据覆盖有关字段，未访问容器保持未知，避免把推测当已知。world model以[PER]和[PRE] tokens分别执行观察更新及条件转移预测。
2. 从以随机探索为主、少量goal-directed的环境轨迹收集约80K transitions，以序列化symbolic state做等权cross-entropy SFT；预测训练加入同场景历史观察和失败actions实现MetaICL。
3. planner提出有限候选action sequences和help flag；需要辅助时，world model以非零temperature为每个候选采样多种未来，压缩为textual belief并写入本步候选memory，planner排序、修改或承诺执行。
4. 在视觉ALFWorld的134个OOD任务上评估不同冻结planner，使用Qwen2.5-VL-7B world model；低层执行统一采用ALFWorld oracle controllers，报告多次trial成功率以观察初始能力及历史带来的适应。