LongVT: Incentivizing "Thinking with Long Videos" via Native Tool Calling

Idea

LongVT 让长视频模型在全局稀疏浏览后原生调用 crop_video(start_time, end_time)，获取局部更密集的帧并继续推理，形成 interleaved Multimodal Chain-of-Tool-Thought。核心改变是让时间定位、重新观看与答案生成成为同一模型的连续决策，并通过 VideoSIAH 数据及 SFT→RL→RFT 训练固化这种行为。

Research Problem

长视频的决定性证据可能只存在几秒，均匀抽帧和纯文本 CoT 容易遗漏或编造内容。以短片段或粗粒度 QA 训练的工具模型，也缺少提出、验证和修正时间假设的监督。多选答案正确并不能证明找到了对应视觉证据。

Insight

回答正确与时间区间正确是不同信号，二者联合奖励能约束“猜对但看错”的轨迹；早期 RL 中同时满足这两点的成功轨迹又可作为同分布监督，帮助稳定工具使用，而无需额外奖励调用次数本身。

Method

1. 以 scene detection 分割长视频，合并过短片段，生成 clip captions 与覆盖事件、动作和属性的 QA；再做文本质量过滤、视觉一致性检查及人工反馈修订，构建 segment-in-a-haystack 数据。
2. Cold-start SFT 混合 image / video reasoning 与工具轨迹，并随视频长度提高多轮轨迹采样概率，先训练提出时间窗口、调用裁剪、整合返回帧的能力。
3. RL 数据按视频时长均衡抽样，并保留多次 rollout 有成功也有失败的中等难度问题。GRPO reward 相加答案语义正确性、格式合规与 predicted span 的 temporal IoU；开放回答由 judge 分为完全、部分及不一致。
4. 从早期 RL 筛出最终回答正确且时间 IoU 至少 0.3 的轨迹，转为 RFT supervised examples。推理重复全局假设、局部裁剪和证据核验，在 VideoSIAH-Eval 及其他长视频 benchmark 中评估。