Conflict-Aware Memory for Embodied Agents: Enhancing Vector Data Quality via Detection Rules

Idea

论文通过 Conflict Detection Rules（CDRs）清理 embodied-agent 的 vector memory：显式比较命令中的对象和操作，识别 embedding 相近但行动语义不同的记录，并据此筛选 retrieval context、修剪 HNSW 图连接。它改进的是记忆索引与使用质量，而非微调 planner。

Research Problem

语义向量可能把“开灯”和“关灯”、同动作不同对象映射为近邻，普通 RAG 会将冲突示例同时交给 planner，导致目标状态翻译错误。多模态经验转成向量后也有相似歧义，单靠 cosine-like proximity 不能表达这些动作约束。

Insight

机器人指令具有可拆分的 object–operation 结构；当近邻在其中一个关键分量上不一致时，检索相似并不代表可作为相同目标的例子。把这种领域结构写成规则，可在不更改 embedding model 的条件下纠正候选上下文，并让索引逐渐减少误导性连接。

Method

1. 将成功经验保存为 Information–Goal pairs，图像先由 multimodal LLM 生成文本摘要，再与文本记忆一起 embedding，使用 Faiss HNSW 建索引。输入 query 后取 top-k 近邻。
2. CDRs 组合对象相同/不同、操作相同/不同与向量相似谓词；GPT-4o 抽取并比较 query 与候选的 object–operation，判断哪些记录应保留为一致上下文。
3. 根据 query 与候选的一致/冲突关系修剪候选间的 HNSW edges，经过多轮更新获得修正索引；将 query、固定示例和筛选后记忆输入 planner，输出逻辑 goal state，再由 action generator 推导执行序列。
4. 执行成功后把新 Information–Goal pair 写回记忆。用 Café、Canteen、Kitchen、Lounge 四个受限服务场景测试，分别统计 goal-state grammatical accuracy 与 interpretation accuracy，并与无记忆和普通 RAG 比较。