Think, Then Verify: A Hypothesis-Verification Multi-Agent Framework for Long Video Understanding

Idea

VideoHV-Agent 把 multiple-choice video QA 转为 hypothesis–verification。Thinker 先问各候选答案成立时视频应显示什么，Judge 提取能区分选项的关键 clue，Verifier 回看对应原始片段验证，Answer Agent 再用经过检查的证据比较选项。

Research Problem

长视频 RAG 和 CoT agents 往往不断找相关片段并累积描述，相关性不等于对答案的区分证据，推理容易 semantic drift。初始 captions 又常漏掉精细动作和关系，直接对全部 caption 推理既昂贵，也不能补足这些遗漏。

Insight

搜索目标应由“什么观察能使候选假设成立或失败”确定，而不只是与问题语义相似。用 discriminative clue 压缩多个假设的差异，可以减少逐一验证所有选项的冗余；summary 用于全局假设，raw frames 用于局部核验，两种信息承担不同职责。

Method

1. 先生成可复用 frame captions，再按 query 生成紧凑 summary。全局 reasoning 仅读 summary，详细 captions 留作 temporal grounding，避免所有阶段都读取长历史。
2. Thinker 根据 summary 排除明显不合理选项，把保留选项写为包含 entities、events、temporal/causal constraints 的 testable hypotheses。Judge 将竞争假设凝练成最小可区分 observation clue。
3. Verifier 通过 captions 定位时间窗口，回到 raw frames 做 fine-grained captioning，每次最多处理五帧，并输出带时间、实体和关系理由的 VERIFIED、PARTIAL 或 NOT VERIFIED 状态。
4. PARTIAL 触发 verification-only loop 追加具体片段证据；NOT VERIFIED 触发较大循环重新生成更具体或更有区分力的 hypotheses/clues。最后 Answer Agent 综合 summary、核验结果和冲突检查，给出证据支持的答案。