SAGE: Training Smart Any-Horizon Agents for Long Video Reasoning with Reinforcement Learning

Idea

SAGE 学习 any-horizon video reasoning，在短而简单的问题上直接回答，在长视频或需要外部知识的问题上多轮调用工具。核心 orchestrator SAGE-MM 经 synthetic trajectory SFT 与 trajectory-level GRPO 训练，协调 web search、speech transcription、event grounding 和局部视频分析。

Research Problem

单轮视频模型通常固定处理大量 sampled frames，难按任务难度选择推理长度。长娱乐视频中的目标事件可能需要世界知识辅助定位，而固定工具链又无法适配简单问题。仅用选项匹配或 ROUGE 的 reward 也难评价开放式回答的语义正确性。

Insight

时间跨度与问题难度并非一一对应，Agent 应根据现有证据判断是否 answerable，再决定获取何种新信息。初始全局语境和后续局部工具反馈承担不同角色，训练数据同时保留 direct-answer 与 tool-use trajectories，能避免所有问题都被迫进入冗长流程。

Method

1. Context VLM 阶段输入 128 sampled frames、视频路径/时长、工具定义与 query，输出 video-context、query-intent、下一 tool 或 final answer。Iterative Reasoner 随后读取历史工具结果及文本语境，持续判断 answerability。
2. 工具库包括 web-search、parse-website、transcribe-speech、ground-event、extract-video-parts 和 analyze，grounding 每次限制在最多十分钟区间，后两类视觉推理由辅助 MLLM 执行。
3. 用 Gemini-2.5-Flash 为多类 YouTube 视频生成覆盖全时段的 QA，并运行 SAGE 合成每题多个 trajectories 作为 cold-start SFT。RL 子集均衡需要工具和直接回答的样本，避免单一 horizon 偏置。
4. GRPO 将每步格式、调用合理性、重复参数和无效参数分数与最终 judge correctness 聚合，再将 trajectory reward 分配给各动作。早期限制较短 rollout 以稳定训练，正确使用视觉工具获得额外奖励，错误多轮回答受罚。