Hierarchical Long Video Understanding with Audiovisual Entity Cohesion and Agentic Search

Idea

HAVEN 将长视频离线组织为 global summary、scene、segment 与 canonical audiovisual entity 四层索引，再让 reasoning agent 按问题在这些层级间搜索。核心是用 speaker identity 补足视觉身份线索，把跨镜头分散观察连接为稳定实体与叙事结构。

Research Problem

普通 clip RAG 把长视频拆碎，局部 captions 与一个 global entity list 不足以表达场景层级和长时依赖。人物外观变化、遮挡、off-screen 发言会导致同人拆分或异人合并，纯字幕检索又忽略谁在说话，进而影响跨片段推理。

Insight

说话者身份可在视觉线索变化时提供相对稳定的连续性证据。实体一致性与 scene-level temporal abstraction 互补，前者连接远处同一主体，后者保留故事顺序。检索先用低成本结构化文本定位，再按需回看视觉，避免把所有关联 clips 一次送入 context。

Method

1. 用 WhisperX 产生 timestamped transcripts 与 diarized speaker labels。每个 30-second segment 结合采样帧、speaker 与文本生成 caption/speaker-aware description，并加入 UNITE visual embedding，保留文本遗漏的视觉检索通道。
2. 从片段提取 characters、locations、events，经 description embeddings 聚类，再由 LLM canonicalize 或拆分冲突簇。共享 speaker labels 为人物合并提供强线索，对每个 entity–segment link 离线重新生成 focused caption。
3. LLM 在 overlapping chunks 中将连续且语义一致的 segments 合并为 scenes，生成 scene summaries 与 global summary，建立能从全局故事追到局部证据的层次数据库。
4. Agent 以 global summary 初始化 memory，通过 Global Scene Browse、Segment Caption/Visual Search、Entity Search 与文字/视觉 Inspection 迭代查询，返回带 timestamps 的证据并更新上下文，找到答案或达到 step budget 停止。