MindPower: Enabling Theory-of-Mind Reasoning in VLM-based Embodied Agents

Idea

MindPower 把 Theory of Mind 从判断故事人物信念的 QA，扩展为 robot-centric 的 perception→belief→desire→intention→decision→action 链。Agent 既建模自身掌握的信息，也推断人的错误信念或隐含目标，并据此生成具体辅助行动；论文提供专门数据及 Mind-Reward 训练。

Research Problem

既有 ToM benchmark 多为 role-centric 多选题，能判断他人想法不等于能从自身视角决定如何帮助。通用 embodied agent 又常依赖显式任务目标，没有评估根据搜寻、反复失败等行为主动识别需求，容易生成场景刻板描述或不可执行动作。

Insight

帮助行为需要从可见事件中区分 agent knowledge 与 human belief，再把差异转为自己的 desire 和 intention。完整链条中的局部步骤及跨层顺序均需要一致，单独奖励末端答案或流畅心理描述不足以检查这种依赖。

Method

1. 在 VirtualHome 与 ThreeDWorld 中构建 false-belief correction、implicit-goal inference/completion 两类情境，涵盖八种家庭布局、十六类人物及行动限制；GPT-4o 起草故事，经五名标注者筛选、复演和六层标注，得到 590 个例子。
2. 先 SFT 学习六层输出结构，再用 GRPO 优化。每层 reasoning 转为 action(agent, object) 原子项，统一包含物理事件和心理动作，并明确 human / robot perspective。
3. Mind-Reward 用 ROUGE-1 衡量原子匹配、ROUGE-2 衡量相邻关系、ROUGE-L 衡量全局顺序，权重为 0.2、0.3、0.5；加上六层按序出现的 format reward，用组相对 advantage 更新 policy。
4. 评估分别衡量感知与 BDI 文本的语义相似度、动作原子匹配，以及 GPT-4o 对 BDI / perspective consistency 的判断。对直接给动作、普通 CoT、SFT-only 等设置做消融，分析 robot-centric 推理的贡献。