EVA: Efficient Reinforcement Learning for End-to-End Video Agent

Idea

EVA 学习 planning-before-perception 的视频 Agent：最初仅根据问题决定如何取帧，随后在 Summary–Planning–Action–Reflection 循环中调整时间区间、帧数和空间分辨率。训练依次采用 SFT、KTO、GRPO，并根据当前策略失败案例扩充新 QA，以提高主动观察的稳定性与效率。

Research Problem

均匀抽帧和固定 perception-first workflows 可能处理大量无关内容，也可能漏掉短暂动作。即使允许选片段，若不能改变 temporal granularity 和 resolution，仍难按题分配视觉预算。SFT 后模型还会在证据不足时猜答案，或对短区间取过多帧，直接 online RL 容易受这些策略错误影响。

Insight

何时看、看多少和如何看是同一策略中的决策变量。先学习可执行结构，再通过完整轨迹偏好纠正常见错误，能为 online exploration 提供更稳的起点。训练数据也应随暴露出的能力缺口变化，而不是只在固定问题集合上反复优化。

Method

1. 提供 frame-selection tool，参数包括 start/end time、nframes 和 resize。Agent 初始没有视频帧，选择工具后才得到视觉 observation，后续可根据证据决定继续查询或回答。
2. 用 Qwen2.5-VL-72B 从 LLaVA-Video、CG-Bench 生成 agentic trajectories，通过成功经验、workflow hints 和 reflection prompts 形成 SFT 数据，明确描述取回帧并比较候选动作的代价与结果。
3. KTO 将证据不足仍作答等失败轨迹标为 rejected，将优质成功轨迹标为 chosen，无需强行构造共享轮次的成对偏好，保留完整多轮策略。
4. Data-Enhanced GRPO 周期性收集当前模型失败，用其引导 teacher 在新 HD-VILA 视频上生成 open-ended QA。多选题采用 CSV reward，要求 EVA 与只看最后一轮帧的 base-model judge 同时答对；开放题用 ROUGE 均值，另给低权重格式补偿。