Agentic Very Long Video Understanding

Idea

EGAgent 为跨天乃至一周的 egocentric video QA 建立带时间的 entity scene graph，并让规划代理联合查询视觉帧、音频转写和实体关系。核心改变是把连续经历压缩为可以组合检索的“谁、何时、与什么发生何种交互”，再用多步证据回答问题。

Research Problem

直接输入全部视频超出 context window；普通 Video RAG 对片段或 caption 做独立相似度检索，难以稳定连接跨日的同一实体，也难回答重复习惯、关系链和先后顺序问题。仅找到与原问题相似的画面，不一定能支持涉及多个条件和模态的推理。

Insight

实体关系加上时间区间可以作为长视频的结构化索引，将复杂问题分解为先定位事件、再查参与者或关系的多跳过程。原始视觉和音频检索仍然必要，因为图的抽取会遗漏信息；在 compact working memory 中融合各模态结果，比一次检索后直接回答更适合长时问题。

Method

1. 从音频转写、场景描述和地点预测构建文档，用 LLM 抽取 person、object、location 节点及 talks-to、interacts-with、mentions、uses 关系；为边附加时间区间和原文证据，存为 SQLite tuples。
2. Planning Agent 将问题拆为带检索工具及参数的子任务。Visual Search 对 1 FPS 帧的 embedding 做相似度检索并支持时间地点筛选；Audio Search 使用按时间范围的 LLM 搜索或 BM25。
3. Entity Graph Search 根据时间、文本、实体与关系生成 SQL；无结果时逐步放宽时间窗口、文本匹配和关系限制，以兼顾精确匹配与漏检恢复。
4. Analyzer 对各子任务检索结果进行相关性判断、证据提取和去重，累积进 working memory；VQA Agent 结合原问题与紧凑跨模态证据生成答案，在 EgoLifeQA 与 Video-MME Long 上评估。