Symphony: A Cognitively-Inspired Multi-Agent System for Long-Video Understanding

Idea

Symphony 按能力而非单纯模态分工组织长视频 agent：Planning 负责推理与调度，Grounding 找证据时段，Visual Perception 检查视觉细节，Subtitle 分析字幕，Reflection 核验整条推理并驱动补充搜索。对复杂查询使用语义扩展和 VLM segment scoring，降低只用原问题做 CLIP 检索的漏证风险。

Research Problem

长视频问题常有模糊指代、抽象动作与跨场景多跳依赖，原始 query 的 embedding 相似度难定位隐含线索。固定工作流或多模型投票缺少根据中间证据改变任务的能力，而单 agent 兼任定位、字幕解析和逻辑推理容易负担过重。

Insight

复杂问答需要把“应该找什么证据”本身纳入推理。Planner 对问题逐步分解，grounding 对抽象概念展开可观察线索，reflection 再查逻辑与证据是否足够，这使后续工具调用针对具体缺口而非重复第一次检索。

Method

1. Planner 以原问题和 action–observation trajectory 为状态，动态调用 grounding、visual 或 subtitle agent；视觉工具包括 frame inspector、global summary 和 multi-segment analysis，字幕模块执行实体、情感与主题分析。
2. Grounding agent 判断复杂度，简单查询保留 CLIP 检索；复杂查询经 LLM 实例化模糊实体、展开概念及补充潜在逻辑线索，再对非重叠片段稀疏取帧。
3. VLM 对每个片段按四级 relevance 打分并给理由，区分足以回答、局部证据、间接多跳关联和无关片段；并行执行各片段分析，选出相关时间段供进一步检查。
4. 得到初步答案后 Reflection 读取完整轨迹，验证推理严谨性与证据充分性。不通过则把 critique 追加状态，planner 再发起针对性的观察和比较，直到验证通过或尝试预算耗尽。