Scaling Agentic Reinforcement Learning for Tool-Integrated Reasoning in VLMs

Idea

VISTA-Gym 将多种视觉推理任务、26 个工具、可执行交互及可验证答案统一为 agentic RL environment，并训练 VISTA-R1 学习交错 reasoning 与 tool calls。贡献同时覆盖任务与工具接口、可扩展运行设施以及 imitation-learning warmup 加 online RL 的训练路线。

Research Problem

直接为 VLM 开放工具并不一定改善视觉问答。作者检查 500 个失败样本，发现问题不仅在最终 reasoning，还包括 schema、参数名称、参数内容与工具输出使用。现有视觉工具训练常局限于 crop 或 image search 等单种操作，缺少覆盖不同推理类型、支持高频执行和稳定反馈的基础环境。

Insight

视觉工具能力是选择、调用和使用返回结果的一组连续决策，应在真实执行循环中共同训练。统一环境使错误可观察、轨迹可审计，多任务工具组合则让模型学习跨任务可迁移的调用规律。与此同时，重型 VLM tools 的高并发服务化决定了这种训练是否能扩展。

Method

1. 从 13 个数据集汇集 chart、geometry、geospatial、science、document 和 spatial/compositional 等七类任务，把工具组织为 perception、chart understanding、diagram formalization、math solvers 四组。
2. 通过 Gymnasium-style reset/step 接口接收 typed tool identifier 和 arguments，返回结构化结果或 runtime errors。FastAPI、工具适配层和 Ray Actors 保持模型常驻 GPU，并以异步 batching、队列和故障恢复支持并发 rollout。
3. 先用 GPT-5 生成实际工具轨迹，按 final answer exact match 筛选，再由 Qwen3-VL-235B-A22B-Thinking 扩展简短 rationale。behavioral cloning 学习 thought-action interleaving 和基本工具语法。
4. 在线 GRPO 采样多轮完整交互，以 repetition penalty、每轮 protocol format 和 rule-based answer correctness 构成奖励。正确性奖励只在无重复且格式有效时生效，训练完成后在五个分布内和六个分布外 VQA 测试集评价。