Select Less, Reason More: Prioritizing Evidence Purity for Video Reasoning

Idea

EARL 将 video reasoning 的 frame selection 与 localized re-sampling 联合训练，并用人工核验的 key-frame labels 奖励 evidence purity。模型每次选关键帧后，系统从原视频附近时间区间补采更细的帧，再继续推理，使观察可以超出最初 uniform sampling。

Research Problem

静态采样让有限 visual context 被冗余稀释；只从预采样帧选择又无法恢复漏掉的短事件。现有 pixel-space agents 即使能调用观察工具，若只按最终答案正确奖励，也可能依赖不相关画面猜中，缺少对中间 evidence quality 的约束。

Insight

选择少量真正相关证据与在这些位置补充时间细节是互补操作。Frame-set IoU 同时惩罚多选无关帧与漏选关键帧，再让答案奖励依赖 selection quality，可减少仅凭答案正确而保留低质取证策略。不过 purity 在这里是对 annotated golden frames 的一致性代理。

Method

1. Operation-aware SFT 用含文本 CoT 与显式 frame-selection actions 的 demonstrations 初始化模型，学会输出可调用选择操作，而不是直接从原输入作答。
2. 从当前 visual context 选择 key frames，为每帧建立与最近时间邻帧之间的区间，在这些区间重新均匀取样并替换当前 visual context。实验初始最多 32 帧，最多两次动态选择，每次新增帧上限 16。
3. 用 GPT-4o 根据 video、question 和 answer 提议 1–8 个 key-frame indices，再由人工剔除无关帧，构造覆盖两轮选择所需证据的 golden labels，作为 RL supervision。
4. Reward 包含调用 action bonus、selected/golden frame-set IoU 和答案正确性。答对但 IoU 低于阈值得较低奖励，答错受负奖励；训练早期提高探索 bonus、后期降低它并提高 relevance 权重，逐渐转向精确选择。