MoReGen: Multi-Agent Motion-Reasoning Engine for Code-based Text-to-Video Synthesis

Idea

MoReGen 用 multi-agent code generation 将 text-to-video 转换为显式的 physics simulation 与 rendering。Text-parser、code-writer 和 video-render agents 分工生成结构化参数、Newtonian simulation code 与视频，再由 evaluator 反馈修正；同时以 MoReSet 和 trajectory-centric metrics 检查物理一致性。

Research Problem

视觉上逼真的视频可能违反 Newtonian motion，常用 appearance metrics 又难以识别 trajectory 或 causal dynamics 的错误。自然语言还经常缺失物理参数，直接交给通用 code generator 容易得到不完整或相互矛盾的 simulation specification。

Insight

将运动生成与画面呈现分离，可以把 physical dynamics 交给可执行 simulator，并保留可核查的 object trajectories。模型主要负责把用户意图映射到正确的物理问题，而不用从像素统计中隐式恢复全部规律；这一优势适用于论文定义的 Newtonian scenes，不能直接视作开放世界 photorealistic video 的全面替代。

Method

1. 为不同 Newtonian phenomena 设计包含 units、parameter ranges、objects、constraints 与 initial conditions 的 schema，人工校验 text–specification pairs，并对 Qwen2.5-Coder-14B 的 text-parser 做 SFT。
2. Code-writer 按统一 Python framework 创建 bodies、shapes、constraints 与 simulation loop，调用 physics engine 并保存每个 step 的 position、velocity 和 orientation。
3. Video-render agent 依据 scene configuration 与 trajectories 生成 rendering script；实现中可通过 Pymunk 与 pygame 重建场景和回放运动，使 rendering 与 dynamics 解耦。
4. Evaluator 以 GroundedDINO / CoTracker3 提取视频中的对象轨迹，与 simulation telemetry 比较，再综合 VLM 对 physical plausibility 和 prompt fidelity 的判断，把反馈送回 code-writer；MoReSet 用人工校验的 trajectory annotations 支持评测。