SVAgent: Storyline-guided Long Video Understanding via Cross-Modal Multi-Agent Collaboration

Idea

SVAgent 用持续更新的 query-aware storyline 组织长视频证据，再通过 hypothesis formation、DPP frame selection、分离的文本/视觉决策及 meta verification 形成答案。若证据不足或两模态不一致，Suggestion Agent 根据历史失败推荐新帧，推动 storyline 与假设共同修正。

Research Problem

仅根据 captions 或独立 top-k keyframes 回答，可能丢失跨事件的时间联系。将文本与视觉直接融合成一次判断，也难发现两种证据相互矛盾。已有 refinement 往往不知道下一轮应回看哪里，容易重复查看显著但不完整的片段。

Insight

Storyline 提供跨帧时间结构，hypothesis 则明确需要寻找支持或反驳什么。分别根据问题和假设证据检索帧，再检查两者是否一致，可为是否继续探索提供信号。文本与视觉独立作答及 evidence-level 复核，有助于识别共同结论背后的证据缺口。

Method

1. 建立每秒一帧的 frame database 和 captions，初轮均匀选择部分帧，Storyline Agent 结合 query 生成紧凑 narrative；后续将新帧与既有 storyline 合并，修正不完整时序信息。
2. Hypothesis Agent 生成临时答案和 evidence set。分别以 query relevance 与 evidence relevance 构造 DPP kernels，以 frame similarity 控制冗余，用 greedy MAP 选择关键帧，再按两个集合的重叠程度决定是否进入验证。
3. Text Decision Agent 读取 storyline、captions 和 query，Vision Decision Agent 读取对应 frames，各自产生答案、证据和 frame-importance recommendations，不直接接收临时 hypothesis answer。Meta Agent 检查证据是否互相支持，最终轮不一致时按证据强度协调。
4. 失败后 Suggestion Agent 检查已使用帧与历史错误，选择未探索或可能澄清问题的时间区域。系统最多三轮 refinement，在 LongVideoBench、MLVU、LVBench 和 VideoMME 上分析各模块与帧选择贡献。