VULCAN: Tool-Augmented Multi Agents for Iterative 3D Object Arrangement

Idea

VULCAN 用 Planner、Executor 和 Evaluators 反复执行 3D object arrangement，把高层语言要求转成逐对象移动，并在每个中间状态检查几何和语义合理性。关键支撑是 MCP scene APIs、视觉探测工具、constraint-based pose solver 与 adaptive backtracking，适用于需要预留空间和调整顺序的多步布置。

Research Problem

直接编辑 Blender code 容易出现语言操作和实际 3D 结果不一致。已有单步放置方法即使能解当前 pose，也不处理前一物体占位导致后续不可行的问题。长程任务需要同时维持无碰撞、无悬空及语义目标，单一 MLLM 承担全部状态与几何计算时还受到上下文和空间 grounding 限制。

Insight

全局进展判断与局部几何执行需要不同信息。Planner 保留视觉历史，Executor 只处理当前移动并调用数值工具，Evaluator 检查移动结果。把精确几何交给显式约束和 collision detection，再允许从失败分支回退，能够把复杂布置变成可检查的状态搜索。

Method

1. Planner 根据用户指令和历次场景渲染，输出当前移动的文本要求与 normalized 2D target coordinate。输入图额外显示坐标网格和已完成移动的箭头，辅助定位和历史理解。
2. Executor 通过 ListObjectsInArea、RayProbe、RenderWithHighlight 获取对象、接触平面和像素到三维的对应，随后构造 CloseToPix、Contact、NoOverhang、Distance、FaceTo、Rotate 等 constraints。
3. Solver 在目标像素周围采样，使用 AdamW 最小化 constraint losses，先按误差过滤，再用 collision detector 排除碰撞候选，选择有效且误差最低的 pose。多位 Evaluators 对语义和视觉合理性投票，额外规则检查 floating。
4. 仅接受共识分数为正且通过物理检查的动作。失败时 adaptive backtracking 调整 restart anchor，退回较早状态重试。实验每步采用三个 evaluators、四条并行尝试，在 25 个场景、111 个 unit tasks 上检查顺序操作。