A Multi-Agent Perception-Action Alliance for Efficient Long Video Reasoning

Idea

A4VL 让多个 VLM 先独立寻找 query-specific perception clues，再据此取视频片段作答。答案不一致时，系统交叉评价 reasoning、淘汰最低分 agent，并让其余 agent 重新提出更具辨别力的线索与取帧区域，形成 perception–action exploration 循环。

Research Problem

长视频密集取帧增加计算，也可能用重复信息干扰关键事件。固定 agent 团队和只在答案层面的讨论，不能确保争议导致重新查看不同视觉证据；若所有模型起初都错，仅投票也难纠正。

Insight

多 agent 的价值可来自不同的观察假设，而非反复讨论同一输入。将答案冲突转成下一轮 perception clue，能够改变证据来源；同时逐轮减少弱 agent，把预算集中到更有说服力的推理路径。这里的一致意见仍是停止启发式，并非正确性证明。

Method

1. 可选的 task-specific teaming 先在少量无标签 video–question pairs 上运行候选模型，按其回答与其他模型的选择频率一致程度计算平均分，默认从八个模型中选三个并在同一任务集复用。
2. 每个 agent 首轮随机预览四帧生成粗 clue。用 DINOv2 embeddings 与 HSV / motion / sharpness 等事件变化切视频块，CLIP 计算 clue–block relevance，并据此分配共十六帧供作答。
3. 每个 agent 基于自己的帧集合输出 answer 和 rationale，完全共识时由 summarizer 汇总答案、线索与解释；若有分歧，各 agent 对所有答案和理由进行 1–10 分评价。
4. 汇总自评与互评分并删除最低分 agent，余下 agent 综合旧线索、争议答案、理由与淘汰信息改写 clue，重新匹配块和采样。实验比较 event partition、clue alignment、共识方式及长视频延迟。