LongVideoAgent: Multi-Agent Reasoning with Long Videos

Idea

LongVideoAgent 让 master LLM 按问题反复选择定位片段、查看局部画面或回答，借助 grounding agent 和 vision agent 从长视频中提取稀疏证据。对开源 master 再进行 RL，使其学习结构化协作；两个 specialist 保持冻结，从而将长视频感知与决策训练分开。

Research Problem

直接向模型提供长视频常需大幅下采样或摘要，关键视觉细节可能不可逆地丢失；仅依靠字幕的工具系统又无法回答对象、场景或动作细节。固定一次检索也难以在定位错误或证据不足时重新查找，因此需要在有限步骤内动态决定下一次观察。

Insight

先通过字幕缩小 temporal search space，再按当前疑问读取局部画面，可以把视频处理预算集中到问题相关区域。master 保留已累积的字幕、clip tags 与视觉观察，在证据冲突时重新 grounding，在信息足够时终止；这使多轮工具使用成为可训练的决策过程。

Method

1. 输入完整 episode subtitles 与问题，master 每轮只输出 visual_query、request_grounding 或 answer 之一。grounding agent 返回相关 clip tag 及字幕，允许请求连续片段或重新定位；vision agent 按 query 从当前片段提取对象、动作、属性、OCR 等文字观察。
2. 将 specialist 的结果追加到 master context，最多运行 K 步。默认 K=5、单 clip window，grounding 使用 Grok-4-fast-reasoning，vision 使用 GPT-4o，因此开源 master 结果也包含这些冻结模型提供的能力。
3. 以格式正确的动作获得 step reward，以 multiple-choice answer exact match 获得 terminal reward，组合为 trajectory return；正文称以 GRPO 对 master rollout 更新，使用 clipping 与 entropy regularization，specialists 不训练。
4. 将 TVQA/TVQA+ 同一 episode 的 clips 合并，重索引时间戳并保留对应 boxes，构建 LongTVQA/LongTVQA+；在原 validation split 比较非 agent、agent、agent 加 RL，并分析步数和片段窗口。