E-ViC: Reasoning Beyond Text via Embodied Visual Chain for Spatial Intelligence

Idea

E-ViC 将 spatial reasoning 从纯文本 CoT 扩展为可执行的视觉操作链：模型在推理中主动 zoom、标点并观察反馈，然后输出坐标、bounding box 或选项。训练直接用任务级 reward 优化多轮视觉工具策略，不依赖逐步标注的 reasoning trajectories。

Research Problem

Embodied task 的执行需要精细几何信息，但纯语言推理容易把像素关系压缩为模糊描述；模块化视觉 pipeline 又可能逐级传播感知错误。已有 tool-augmented VLM 往往依赖人工程序、监督轨迹或 cold-start，因此既限制可学习策略，也增加多轮视觉行为的训练成本。

Insight

将假设落实到可回看的像素操作，可以让模型重新检查视觉细节，而不是仅在文字中重复判断。任务 reward 能学习何时调用工具，但还需防止重复调用和忽略视觉反馈；作者因此在奖励中显式偏好有效视觉参与。所谓 look-and-confirm 行为是训练后观察到的模式，并非完全无先验约束地涌现。

Method

1. 把 image 与 instruction 形成初始 context，将每次 policy output 分为 text reasoning、visual tool call 和 final answer。工具执行后把操作与返回图像追加到 history，继续生成直至回答或达到 turn budget；输出支持多种空间任务。
2. 构造 task-specific accuracy reward 与 format reward 的加权和，再乘 gated coefficient。C1 对连续重复工具 JSON 等退化行为置零；满足 C1 但未使用视觉工具时仅给半权重，至少调用一次视觉操作则保留全权重。
3. 对同一输入采样多条完整轨迹，通过 group reward 均值和标准差计算 advantage，用 trajectory GRPO 的 clipped objective 更新策略；奖励分配到 policy 生成的文本、调用与答案，确定性的 tool-response tokens 不参与 policy likelihood。
4. 用异步 actor–learner 与共享 trajectory buffer 处理从直接回答到最多五轮的不同 episode 长度，按 reward variance 加权采样并周期同步模型。以汇集的 embodied task 数据训练，再在外部 spatial benchmarks 上检验泛化与视觉工具作用。