SpaceTools: Tool-Augmented Spatial Reasoning via Double Interactive RL

Idea

SpaceTools 用 Double Interactive Reinforcement Learning（DIRL）学习多种视觉与机器人工具的组合。先让只会一个 pointing tool 的 RL specialist 和能访问全部工具的 frontier teacher 提供互补示范，再让学生通过真实多轮工具交互优化 spatial reasoning。

Research Problem

VLM 的定性识别能力不等于 metrically precise spatial reasoning。固定 prompting 或预设 pipeline 限制工具组合适应性，而同时开放十余种工具会让 naive RL 的动作空间迅速扩大、有效奖励稀疏。仅做工具轨迹 SFT 又难超越示范中的协调方式。

Insight

单工具 RL 能在较小搜索空间学到可靠的 grounded reasoning，通用 teacher 补足工具广度。二者先提供可探索的初始策略，再让 full-tool RL 发现更好的组合，分别处理探索起点和策略改进问题。Toolshed 提供实际状态相关反馈，是这种训练可执行的基础。

Method

1. Teaching phase 先训练 base VLM 只用 pointing tool 解决空间关系、兼容性与相对深度任务，再从其成功行为收集 demonstrations；同时让 frontier teacher 使用全部视觉和机器人工具，只保留正确轨迹。
2. 按 single-tool teacher 与 universal teacher 的 1:3 比例合并 SFT 数据。学生输出 think、tool_call、answer，多次工具执行及图像结果追加到 history，学会多轮对话和初步组合。
3. Exploration phase 从 SFT policy 出发开放全部工具，用异步 rollouts 和带 KL regularization 的 GRPO 优化。Toolshed 隔离各工具资源与环境，通过并行 workers 独立扩容 segmentation、depth、3D box、grasp 等重工具。
4. 最终奖励按任务采用选择题正确性、box MIoU、pointing distance、pose 投影角点区域 IoU 与 grasp contact error。正文明确去掉无收益的格式奖励，重点监督 final answer 的几何一致性。