Thinking with Programming Vision: Towards a Unified View for Thinking with Images

Idea

CodeVision 以可执行 code 统一 visual tool use，允许模型组合图像操作、读取运行错误并修复程序。论文以 rotation/flip 后的图像理解脆弱性建立工具必要性，再通过针对性 SFT 和带过程监督的 RL 训练多轮策略，扩展只反复 crop 的固定工具范式。

Research Problem

已有 thinking-with-images 方法常依赖固定工具注册表，改名或参数变化就可能影响调用，且主要评测重复 crop。部分基准上 RL 不用工具也能获得接近收益，难证明工具的必要性。作者发现方向变化显著损害 OCR 与视觉推理，同时观察到 RL 中无效调用、奖励投机及错误恢复不足。

Insight

通用代码接口能表达工具组合，但仅扩大接口并不会教会策略何时调用。通过可验证的 image transformations 明确任务前提，再配合成功结果、工具必要性和成本约束，才能把语法学习、有效探索与高效执行连接起来。运行日志也可作为可学习的反馈，而不是直接终止轨迹。

Method

1. 构建约 6000 个 cold-start trajectories，覆盖 single-tool、multi-tool、multi-crop、error-handling 和 no-tool。用 metadata 预设变换和需求，GPT-5 生成操作后实际执行，对照 canonical image 验证，错误样本提供日志后允许修正。
2. SFT 采用交错的输入、assistant reasoning/code 和工具返回。只对 assistant tokens 计算 loss，工具返回使用数据构造时缓存的执行结果。
3. 构造约 40K RL 样本，过滤 rollout 全对或全错的低信息案例，并记录 must-use tools 及 crop target boxes。GRPO reward 包含答案/格式、首次正确方向操作、crop IoU 改善、正确工具顺序和有效 optional tools bonus。
4. Optional tool 的收益通过同题 rollouts 中使用与未使用该工具的准确率差估计。额外惩罚超过必要轮数、答对但 crop 与目标 IoU 极低、以及无工具需求时仍调整方向等行为，抑制为过程奖励反复调用。