R4: Retrieval-Augmented Reasoning for Vision-Language Models in 4D Spatio-Temporal Space

Idea

R4 为 frozen VLM 增加持续更新的 object-centric 4D memory：每个对象同时记录语义、全局三维几何和时间区间，并保留观察 agent 与可见性。查询被分解成 semantic、spatial、temporal keys，经多轮检索推理连接当前感知、历史事件和其他 agent 的观察。

Research Problem

平面 caption 或 snapshot 记忆缺少可直接计算的 metric geometry，所有空间关系又被交回 VLM 猜测。静态 RAG 不适合连续变化的环境，独立 agent 的记忆也缺少统一坐标和来源，难回答“之前在哪里看到什么、与另一对象相距多远”等联合问题。

Insight

检索本身可以在不同结构空间中执行：文本相似度找语义，SLAM 全局坐标约束距离与方向，时间区间筛历史。将它们关联到同一个对象记录，使推理能够先找一个空间锚点再检索邻域，并依据 provenance 与遮挡情况处理多视角冲突。

Method

1. 同步 RGB、point cloud 和 timestamp，用 SAM2 分割对象并将点投到 mask，计算世界坐标 centroid、extent，VLM 补充简短描述，形成 SEM / SPA / TEM / AID / VIS JSON entry。
2. 语义进入 vector database，几何作为 SLAM map 中连接对象记录的 special points，时间进入 time-series 存储。对新观察先按空间距离和语义相似度提名匹配，再由模型决定更新已有对象或新增。
3. 多 agent 通过共享全局坐标合并观测，AID 追踪来源，冲突时优先使用无遮挡 VIS；同对象历史属性用于推断状态变化。
4. VLM 先评估 live perception 能否回答，不足则依据 retrieval handbook 生成三类查询，可单独或联合执行。检索返回完整记录并序列化回 context，模型继续提出后续检索直至任务终止条件满足。