Embodied-Reasoner: Synergizing Visual Search, Reasoning, and Action for Embodied Interactive Tasks

Idea

Embodied-Reasoner通过观察—思考—动作交替的训练语料，把视觉搜索、任务推理与失败反思结合到具身高层agent。其数据engine先从场景约束生成可执行任务，再以三阶段imitation、成功轨迹rejection sampling和reflection tuning，逐步训练交互、探索及恢复能力。

Research Problem

通用VLM面对隐藏物品和多步操作时，容易在一次搜索失败后幻觉目标不存在或提前放弃；只用直接成功示范又缺少探索未知房间和异常后恢复的训练。所需数据不仅是动作序列，还要将当前观察、搜索目的及发现错误后的修正关联起来。

Insight

simulator metadata可提供物体容纳关系与物理可行性，保证基本任务和必要动作有来源；在必要动作间加入探索，再筛选模型实际成功的搜索过程，可扩展超出简单示范的行为。将异常观察或错误前缀接上反思与正确后缀，则能直接监督如何识别偏离并恢复。

Method

1. 在AI2-THOR构建Search、Manipulate、Transport和Composite任务，提供九种高层actions；GPT-4o依据模板和metadata生成constraint-check代码，筛选存在且可操作的对象，再改写instruction风格并组合难度。
2. 用object affiliation graph推导必须的key actions，在其间插入额外搜索过程并实际执行取得观察；GPT-4o按当前/历史观察和已知后续action生成分析、规划、空间推理、反思和验证等thought。
3. 先用1128条合成轨迹SFT Qwen2-VL-7B，得到Interactor；在新任务上高温采样，依据key actions顺序及最终状态筛选6246条成功轨迹，继续instruction tuning形成Explorer。
4. 在成功轨迹插入导航到错位置或操纵未执行的异常状态；在失败轨迹定位首个错误动作，加入反思并补正确后缀，形成2016条self-correction数据。训练只对reasoning和action计loss，反思阶段mask错误前缀，最终得到Reasoner。