WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning

Idea

WorldMM 为超长视频构建 episodic、semantic 和 visual 三类互补记忆，并由 retrieval agent 按问题动态选择来源及时间尺度，收集充分信息后交给 response agent 作答。它把具体事件、跨事件稳定关系和无法充分转述的外观细节分别保存。

Research Problem

只存 caption 或摘要会丢失颜色、位置等视觉细节，始终附带所有图像又可能引入干扰。固定数量、固定长度的 clip 检索无法兼顾几秒钟找物与数小时活动总结；逐段独立的事件记忆也难形成长期习惯和关系知识。

Insight

不同问题需要的抽象层级不同，事件证据和长期语义并非同一种检索对象。先从图记忆定位关系或时段，再按需返回真实视觉证据，可将长期信息压缩与局部细节核验衔接；动态选择模态比无条件拼接所有内容更契合查询。

Method

1. 按多个时间尺度切分视频并生成 captions，把 entity–action–entity triplets 建成不同分辨率的 episodic KGs，保留细事件和粗叙事。
2. Semantic memory 按较粗时间段提取概念、关系和习惯 triplets，先以 embedding 查找旧图中重叠或冲突项，再由 LLM 决定删除、更新或新增，使语义图随视频逐步演化。
3. Visual memory 同时存短片段 multimodal embeddings 与 timestamp–frame 索引，分别支持文本 query 的 cosine similarity 检索和已知时段的直接取帧。
4. Retrieval agent 每轮输出 memory–query pair 或 STOP。Episodic 检索先各尺度 PPR 再由 LLM 跨尺度 rerank，semantic 检索用两端节点 PPR 之和给 edge 打分；所取内容及检索历史全部交给 response agent 生成 grounded answer。