Refer-Agent: A Collaborative Multi-Agent System with Reasoning and Reflection for Referring Video Object Segmentation

Idea

Refer-Agent 用无需微调的多 agent pipeline 完成 Referring Video Object Segmentation：先选择能说明用户意图的帧，再生成目标描述、定位 bounding boxes，最后调用视频分割模型传播 mask。核心是让 frame selection 和 intent reasoning 接收分阶段反思反馈，迭代修正中间错误。

Research Problem

大规模 SFT 将 MLLM 与 segmentation decoder 绑定，更新底模需要重新训练。已有 zero-shot 流程常只选一帧或均匀看所有帧，复杂因果指令可能引向事件结果而非目标对象，初始漏选或幻觉随 grounding 和 mask propagation 被放大。

Insight

是否选到了能看清目标的证据，与描述是否符合用户条件，是两类不同错误。分别检查 target existence 和 attribute consistency，可把反馈送回选帧或意图解析环节；让 keyframe 占更大视觉面积，则能在保留时序上下文时突出待定位目标。

Method

1. 把视频划成多个区间，每个区间选取 CLIP 与 query 最相近的帧以保证覆盖；MLLM 再评价目标可见性与代表性，联合 CLIP / MLLM 分数选 top-K 及 keyframe。
2. Dynamic Focus Layout 给 keyframe 更大、更高分辨率的区域，其他帧压缩为上下文，并依据 keyframe 时序位置选择布局。Intent agent 从布局与 query 产生每个目标简洁且可区分的描述。
3. Existence Reflection 由 Questioner–Responder 检查关键帧中的目标可见性、覆盖完整性和是否存在更佳帧；失败时生成具体反馈，指导下一轮重选。
4. Consistency Reflection 将 query 分解为高层类别、状态及低层外观、位置属性，通过多选问答检验被框目标；不一致则反馈给 intent reasoning。验证通过或达到轮数上限后，以目标框提示 SAM2 等模型生成并传播全视频 mask。