Communication-Efficient Desire Alignment for Proactive Embodied Human–Agent Interaction

Idea

FAMER面向重复的家庭协助交互，通过跨episode的goal-relevant memory、desire-centered reasoning和选择性交流，逐渐学会用户偏好而减少重复询问。配套HA-Desire环境用稳定value attributes驱动proxy user的目标选择，使agent必须从模糊指令与交流中推断应当完成哪些具体目标。

Research Problem

具身协作研究常假定目标已知或用户偏好固定且显式，但现实助手面对的请求往往简短，用户也不愿反复说明细节。只根据当前一句话规划容易选错物品，频繁询问又增加沟通负担；需要同时记住环境事实、累积个人偏好并控制无价值提问。

Insight

场景知识与用户价值是两种可跨交互复用的信息。稳定偏好可缩小本轮潜在目标集合，已知物品位置可减少重复探索；在确认目标和推测偏好之间保留区分，再只询问尚未解决的具体歧义，有望同时提高对齐程度与效率。

Method

1. 在VirtualHome上构建六种住宅环境，proxy user从任务特定value space采样固定属性，再由LLM非确定性地选择兼容目标；同一run内跨三次episode保持value固定，以偏好提示而非直接列出目标进行交流。
2. 以Mask R-CNN处理RGB图像并结合depth构成object point clouds及scene graph；LLM根据已确认和推测目标抽取关键物品—位置事实，写入cross-episode memory供后续规划。
3. Goal Confirmation从用户回答提取已确认目标；Desire Inference结合动作/对话历史、当前确认项和前轮目标估计value与remaining goals，再过滤无关动作、聚焦可能相关对象。
4. Efficient Communication在发问前回顾已知目标、偏好及剩余不确定性，生成针对性问题；在Snack和Dinner Table的两种难度下，以正确目标奖励、错误目标惩罚及双方交换token数比较基线和消融。