VideoARM: Agentic Reasoning over Hierarchical Memory for Long-Form Video Understanding

Idea

VideoARM 将按需视频观察和 hierarchical multimodal memory 的构建放在同一 observe–think–act–memorize 循环。Controller 从全局粗观察逐步缩小范围，调用视觉或音频工具，并把刚获得的证据与操作意图写入不同 memory tiers。

Research Problem

VideoTree 等方法依赖固定推理流程，DVD 等先穷尽处理 clips 再查询，长视频上会为当前问题不需要的内容支付大量 token。只保存文字摘要也容易丢失细节，问题相关证据无法随着探索被及时组织和重新查看。

Insight

记忆应随问题驱动的感知过程形成，并区分原始感知、工具结果和推理意图。这样可以保留可追溯证据而清理临时上下文，同时让大范围探索和局部验证各用适合的分辨率，避免用同一尺度处理整段视频。

Method

1. HM3 的 Sensory Memory 保存当前范围的 long-term perception pool 与局部探索的 short-term pool；Result Memory 保存迭代编号、frame interval、工具输出；Working Memory 保存调用前的 reasoning trace 和目的。
2. Interval Localizer 决定全局关注区间及采样数量，将帧按 3×2 带索引网格存入长期池。Clip Explorer 不改变全局范围，只采样局部细帧与对应音频到短期池，供快速验证。
3. Scene Snapper 描述长期池场景，Clip Analyzer 根据局部帧和 sub-question 返回答案及 confidence，Audio Transcriber 用 whisper-1 补充听觉证据。结果写回后清空短期感知池。
4. Controller 阅读三层记忆，提出缺少什么证据及下一工具参数，执行、记录、更新假设，选择 ANSWER 或耗尽 step budget 后作答。实现用 o3 管理控制与范围、GPT-4.1/GPT-4o 感知，预算为 10 步，无参数训练。