VideoChat-M1: Collaborative Policy Planning for Video Understanding via Multi-Agent Reinforcement Learning

Idea

VideoChat-M1 通过 Collaborative Policy Planning（CPP）让多个 agents 各自产生视频工具调用计划，在执行过程中共享发现并修改后续策略，再用 multi-agent RL 训练这种协作。系统优化的对象既包括答对视频问题，也包括计划可行性、工具适当性和中间步骤组织。

Research Problem

固定或不可训练的 video-agent pipelines 容易从同一种线索获取路径理解视频，难覆盖长时序因果、细粒度定位和空间结构。即使初始计划不合适，缺少执行中通信的系统仍会照原顺序调用工具。只评估最后答案也无法给计划修改和团队协作提供足够反馈。

Insight

不同初始工具策略提供互补探索，而共享中间证据使每个 agent 可以保留自己的方向同时吸收同伴信息。协作并不只是最终投票，它应改变尚未执行的动作。把 shared-memory 中的完整过程纳入奖励，能训练动态而非固定的分工。

Method

1. 每个 policy agent 根据 query 和 tool descriptions 生成有序 plan，工具包括 global sampling、video/image retrieval、粗细浏览、temporal grounding 与 spatial analysis 等。随后逐步执行，并记录各步工具结果与临时答案。
2. 每次执行后将计划、线索和回答放入 shared memory，agent 结合团队信息决定继续原计划还是修改后续步骤。选择题最终 majority vote，开放回答和时间定位由组内表现最好的指定 agent 汇总。
3. SFT 数据由 GPT-4o 与 DeepSeek-R1 组成的 CPP 团队标注，只保留答案正确且无需中途修改即可执行成功的 initial plans，以 cross-entropy 训练各 policy agents。
4. MARL 使用 GRPO，reward 组合结果、可执行格式与 collaboration quality。GPT-4o 对 trajectory 的计划可行性、工具合理性和步骤管理给 binary score，并强惩罚超过五次 tool calls 的轨迹，训练时加入 reference KL 约束。