META: Meta Evolution of Tool Trajectory Adaptation for Long-Video Understanding

Idea

META 在 frozen Orchestrator 和 Workers 之外维护会演化的 Meta Toolset。解决视频问题后，将成功 trajectory 中反复有效的微操作抽象为 macro-tool，将失败轨迹整理为工具使用条件，使后续任务可以调用更高层、较短的操作组合。

Research Problem

静态 long-video agents 虽能调用 detection、OCR、segmentation 和 tracking，却为每个问题重新组织同类长工具链。长视频的关键证据稀疏，这些重复微操作增加探索成本，也让错误沿长轨迹积累，已有能力不能以可复用形式沉淀。

Insight

参数不更新也能改变系统的有效能力，前提是保存可执行的操作结构及其适用条件。成功经验用于减少重复规划，失败经验用于收紧工具边界。主算法以 ground-truth answer 判定轨迹成败，但作者也验证 withheld-GT evolution 和独立数据 offline evolution，因而不能把 GT 反馈说成所有变体的必要条件。

Method

1. Solving loop 中 Orchestrator 根据 question 与共享 context 分解 subtask–tool assignments，选择当前 micro/macro tools。各 Worker 独立执行并返回局部片段、实体或描述，可并行收集证据。
2. Orchestrator 汇总执行结果并判断是否足够作答，否则继续分解。系统记录每轮 sub-instruction、selected tools 与 returned evidence，形成结构化 trajectory。
3. Evolving loop 将预测答案与 ground truth 比较。正确轨迹交给 Reflector，删除冗余、失败及探索步骤，提炼起作用的工具子序列并抽象为 macro-tool，检查功能冗余后才纳入 toolset。
4. 错误轨迹用于定位问题工具，把条件或失败模式写为 tool-specific experience note 并整理已有经验。主在线协议先预测再更新；补充实验在 1k CG-Bench 样本上离线演化后跨 benchmark 测试，以及演化时不提供 GT，两种设置仍有增益。