Learning to Select Visual Tools from Experience

Idea

VisualToolAgent（VisTA）把选择视觉工具的 agent 与负责回答的 frozen reasoner 解耦，单独用 RL 学习哪些工具组合适合当前 image–question。工具库同时包含不同功能和同类但能力不同的实现，训练只需最终任务反馈，无需示范每题该调用哪个工具。

Research Problem

Training-free prompting 依赖工具描述和模型既有知识，SFT 依赖人工或合成调用示范，两者都难发现未充分说明、实际可靠性不同的工具之间的协同关系。直接微调整个 reasoner 又使工具策略绑定具体底模，难在新 reasoning backbone 上复用。

Insight

工具的价值应由其输出能否帮助既定 reasoner 正确作答来检验，而不能只看功能标签。将选择策略独立优化，可把试错经验集中到 query-dependent tool selection；多轮情况下，reasoner 对已有证据的 confidence 则为是否继续补充工具提供状态反馈。

Method

1. 输入原图与问题，agent 只看到工具索引及粗粒度类别，输出可变长度的工具索引序列；执行所选 chart、geometry、detection 等工具，把结果与原输入组合成 reasoner 的增强 prompt。
2. 训练时同时计算仅看原图的 baseline answer 与工具增强答案：工具使错误变正确或两者均正确时奖励 +1，使原本正确变错误时为 −0.5，两者均错误为 0。
3. 同题采样多个工具组合，按组内 reward 标准化 advantage，以 clipping 和 KL regularization 的 GRPO 更新 agent，保持 reasoner 参数不变。
4. 多轮版本保留先前工具选择与 reasoner confidence，逐轮补充工具并累计其输出；confidence 达到 0.9 或轮数上限后统一回答，训练屏蔽非 agent 生成的 observation tokens，并检验跨 reasoner 迁移。