Geometrically-Constrained Agent for Spatial Reasoning

Idea

Geometrically-Constrained Agent（GCA）先将 spatial query 转成明确的 reference-frame constraint 与 objective constraint，再让 VLM 在这一固定定义下调用 perception 和 geometry tools。它把任务语义解释与几何求解分开，避免工具执行正确但计划采用了错误坐标系。

Research Problem

VLM 擅长理解“面向水槽”等语义，却容易在精确 orientation、relative position 和 viewpoint transformation 上出错。仅把最后的数值计算交给 Python，仍无法修复规划阶段把 egocentric frame 当成 camera frame 的错误；依赖不可靠 teacher 生成训练数据也可能传递错误 spatial logic。

Insight

几何约束需要在 tool planning 之前建立。先锁定“在哪个 frame 中测量什么”，可让 perception outputs、object references 和计算公式都围绕同一任务定义绑定；这比每一步临时用自然语言重新想象空间关系更容易检查。其可靠性仍依赖正确的 formalization 与 geometry estimation。

Method

1. VLM 作为 semantic analyst 输出 C_task=(C_R,C_O)，明确 reference frame 与测量目标；reference frame 可由 object intrinsic orientation、camera viewpoint 或两个位置之间的 direction vector 定义。
2. 作为 task solver，VLM 在不可任意修改的 C_task 下运行 ReAct-style loop，调用 detection、segmentation、3D reconstruction 等工具取得所需变量。
3. 遇到多个同类对象等 ambiguity 时，结合 tool feedback 与可视化确认哪个 object index 对应 query 中的语义，并把目标变量绑定到具体 geometry。
4. 从预先验证的公式库按变量类型检索 coordinate transformation 等公式，提供给 code generator，在 Python sandbox 中执行最终计算；整个框架不需要模型 fine-tuning。