REVISOR: Beyond Textual Reflection, Towards Multimodal Introspective Reasoning in Long-Form Video Understanding
Idea
REVISOR 把长视频 reflection 改成可重新获取视觉证据的两阶段推理。模型先看稀疏帧并提出需要复查的时间区间,再由 Visual Toolbox 密集抽取该区间,结合初始 reasoning 修正答案。Dual Attribution Decoupled Reward(DADR)同时训练最终回答与所选片段的证据充分性。
Research Problem
文本 reflection 只能重写已有解释,无法补回稀疏视频采样遗漏的动作或细节。作者发现 VL-Rethinker 式反思在长视频上可能退化,而提供 ground-truth key segments 能提升回答。只用 final-answer reward 又无法区分错误来自初始推理、时间定位还是反思阶段,因此可能奖励不相关的回看区间。
Insight
有效反思需要允许模型改变它看到的证据,而不只改变文字。把片段单独交给同一模型重新回答,可提供区别于完整轨迹答案的 sufficiency signal,从而直接激励选择含关键信息的区间。这个信号检验片段是否足以答题,不等价于严格证明完整推理对该片段的因果依赖。
Method
- 对原视频做 sparse uniform frame sampling。MLLM 读取 question 和初始帧,生成初始 reasoning trace,并输出待复查区间的 start/end timestamps。
- Visual Toolbox 只在该时间区间做更高密度抽帧,避免对整部长视频都使用高时间分辨率。reflection 阶段输入问题、初始 reasoning 和新帧,输出修正 reasoning 与最终答案。
- 训练时对完整两阶段 trajectory 做 final-answer verification,同时另开 sufficiency prediction:同一 MLLM 只读取 question 和 reviewed frames,不读取初始 reasoning,判断能否独立生成正确答案。
- 把两类 binary correctness rewards 加权组成 DADR,再用 GRPO 进行 end-to-end RL,不需要额外 SFT 或外部模型。借助文本反思、纯答案奖励和已标注关键片段等对照检查视觉回看的贡献。
Sources & Reading Scope
阅读依据:官方 PDF 正文。核读页码按 PDF 页序计数,可能与 proceedings 页码不同。
核读章节:2. Motivation · 3.1. Tool-Augmented Multimodal Reflection · 3.2. Dual Attribution Decoupled Reward
依据正文动机实验和 DADR 定义整理。作者使用 causal segment sufficiency 命名奖励;本笔记明确区分证据充分性测试与严格因果证明。