VideoSeek: Long-Horizon Video Agent with Tool-Guided Seeking

Idea

VideoSeek 将长视频理解变成 query-aware evidence seeking，由 thinking LLM 沿视频情节和因果线索选择 overview、skim、focus 三种观察尺度。系统按当前未解决的问题主动跳转区间，累计少量有用观察后回答，而无需先为所有密集视频帧建立完整解析数据库。

Research Problem

许多视频 agent 的后端仍要密集扫描整段视频或预建昂贵数据库，交互形式没有消除主要视觉处理成本。单次均匀取帧又可能错过关键细节。长程推理需要在全局结构、候选区间与短时关键事件之间持续决定下一步观察位置。

Insight

视频中的逻辑关系可以充当搜索约束：先知道大致故事，再利用已见事件推断答案可能出现的时段，只有临近关键证据时才提高采样密度。因此节省帧的来源是利用积累信息决定观察位置和粒度，而非简单降低所有片段的分辨率。

Method

1. overview 在全视频均匀采样固定数量帧并生成简短 storyline，为人物、地点和候选时段提供粗略地图；默认实现按预算参数 α 取 16α 帧。
2. skim 接收较长候选区间与子问题，采样 4α 帧形成低成本观察；focus 对短片段按 1 FPS 检查文字、身份、数量或短暂动作，时长上限为 4α 秒。
3. ReAct 式 thinking model 读取原问题与全部 thought–action–observation 历史，决定继续调用观察工具还是 answer；返回结果持续追加，必要时对多个区间反复 skim 或 focus。
4. 默认 GPT-5 同时承担规划推理及工具视觉解读，最多交互 20 轮。若仍无答案，追加直接回答指令，基于已收集证据生成结果；实验同时测视频 QA accuracy 与 viewed frames，并比较底模和工具组合。