VISTA: A Test-Time Self-Improving Video Generation Agent

Idea

VISTA 对黑盒 text-to-video generator 进行 test-time prompt optimization：先把用户想法写成时序化场景计划，生成候选视频并选优，再由视觉、音频和情境三类评判系统指出失败，驱动 prompt agent 修订后重新生成。最终产物是持续保留的最佳 video–prompt pair。

Research Problem

视频质量同时涉及动态、声音同步、物理常识、情节与用户意图，简单 prompt rewrite 或单个总分难指出可修复原因。直接要求 MLLM 一边观看一边比较容易给出浅层评价，而盲目加细节可能使 prompt 冲突或偏离原始需求。

Insight

选出当前较好候选和诊断它仍有哪些问题是两个任务。先用有依据的 pairwise comparison 保留候选，再按模态和正反观点细分缺陷，可把生成随机性与具体 prompt 改动联系起来；保留原 prompt 与当前最佳视频还提供了回退选项。

Method

1. Prompt Planner 将输入分为带 duration 的 scene sequences，显式描述角色、动作、对白、环境、camera、声音和情绪等九类属性，生成多个候选，同时保留原始用户 prompt。
2. Pairwise Tournament 先为每个视频生成 probing critiques，再依 visual fidelity、physical commonsense、text/video、audio/video alignment、engagement 比较；交换候选顺序做双向判断，并对违反准则者施加 penalty。
3. MMAC 在 Visual、Audio、Context 各维度设置 Normal Judge、Adversarial Judge、Meta Judge，分别评价、提出反驳并综合成具体 critique 与分数。
4. Deep Thinking Prompting Agent 从低分项确定预期效果，检查上下文是否充分、失败来自模型限制还是 prompt，并排查模糊和冲突，审查修改后生成新候选。每轮与 incumbent 共同选优，达到迭代上限或多轮最佳项不变时停止。