Don't Show Pixels, Show Cues: Unlocking Visual Tool Reasoning in Language Models via Perception Programs

Idea

Perception Programs（P²）把 depth、optical flow、correspondence 等 vision tool outputs 转为统一的 language-native structured cues，再交给现成 MLLM 推理。方法无需训练或修改模型，核心改动发生在 tool-to-model interface。

Research Problem

即使 expert tool 已产生有用视觉信号，MLLM 仍可能无法正确读取密集的 pixel-level depth map 或 flow visualization，继续依赖 language priors。增加调用次数或直接展示更多可视化结果，不能自动解决 representation 与 reasoning interface 之间的不匹配。

Insight

在工具已经能够提供任务所需信号时，瓶颈可能是如何表达输出。把位置、数值读数和关系显式化，可减少模型重新解码视觉图例的负担；这里的 Perception Program 主要是结构化证据表示，并非让 LLM 自由生成并执行任意程序。

Method

1. 为 tool output 提取 spatial primitives，每项记录 identifier、normalized coordinates、modality-specific read-out 和可选 label；必要时加入 primitives 之间的 symbolic relations，序列化为 YAML-like text。
2. Depth 以 grid cells 的数值范围及相邻区域前后关系表示；optical flow 汇总局部运动方向；visual correspondence 保留两幅图中的配对坐标。
3. Object detection 保留 bounding box、confidence 与 category；semantic correspondence 使用 feature similarity；jigsaw 则组合边界结构、颜色与梯度的匹配分数。
4. 将 P² 与原图、question 一同输入 off-the-shelf MLLM，在 BLINK 的六类 perception tasks 上比较 image-only、raw tool output 与 structured-cue 三种设置，隔离输出表示带来的效果。