Thinking With Videos: Multimodal Tool-Augmented Reinforcement Learning for Long Video Reasoning

Idea

VITAL（Video Intelligence via Tool-Augmented Learning）在视频推理链中插入按时间区间密集取帧的工具操作，使模型可再次观看回答所需证据。它联合训练 video QA、temporal grounding 和 grounded VQA，并用 Difficulty-aware GRPO 处理任务之间与样本之间的难度差异。

Research Problem

纯文本 CoT 反复加工初次稀疏采样的信息，无法补回未看到的短暂事件，链越长也可能积累幻觉。多任务训练中，短视频多选题 reward 很快提高，而长视频的连续 IoU 信号改善慢；后期容易样本占比升高，又限制进一步优化。

Insight

定位能力决定应该重新观看哪里，QA 能力决定局部证据应支持什么判断，因此两者可共享训练信号。工具取回真实的新帧解除固定输入的信息瓶颈，而按任务校准 IoU、按 rollout 难度调整样本权重，试图避免易任务主导学习。

Method

1. 每轮模型根据原视频、问题及累积历史生成 think 和 tool_call 或 answer。Parser 检查调用，video clipping 工具按 start / end time 返回密集帧序列，执行错误也回传，直到模型回答。
2. 从多种视频数据构建 MTVR-CoT-72K 和 MTVR-RL-110K，涵盖 VTG、VQA 和同时预测答案与时间段的 grounded VQA。用八次 rollout 剔除全对、全错样本，再由强 reasoning MLLM 生成推理轨迹。
3. 长视频定位轨迹对 GT 时间区间施加 20% 扰动后构造工具调用，长视频 QA 则由教师自主选区间。先学习基础视频推理，再引入含工具的多轮子集。
4. DGRPO reward 包括任务 accuracy、严格格式及至少一次成功调用的 bonus。定位 IoU 先按任务参数线性缩放并截断，随后按同题 rollout 平均 reward 估计难度，以 0.5 至 1 的权重调整样本，再实施 GRPO 优化。