Lighting-grounded Video Generation with Renderer-based Agent Reasoning

Idea

LiVER 让 renderer-based agents 把自然语言中的场景布局、灯光与相机运动转成显式 3D scene proxy，再用该 proxy 条件化 video diffusion model。光照控制通过物理渲染得到的 diffuse、rough GGX、glossy GGX 三组信号传入生成器，使语义编辑能落实到可操作的场景参数。

Research Problem

视频生成中的 layout、lighting 和 camera trajectory 经常纠缠。已有 3D-aware conditioning 主要处理几何一致性，relighting 方法又可能连带改变布局或镜头。仅靠文字提示难为影视制作提供独立、精确的物理属性控制，现成视频也缺少训练这种控制所需的密集标注。

Insight

统一 3D representation 能让同一组几何、HDR lighting 和 camera parameters 产生像素对齐的控制信号。不同材质响应分别表达环境光、宽反射和高频镜面高光，使生成网络既能保留预训练外观先验，又获得可解释的物理条件。

Method

1. 构建 LiVERSet：真实视频使用 VGGT 估计相机及首帧深度，Grounding-DINO/SAM 2 提取对象，DiffusionLight-Turbo 估计 HDR lighting；合成部分用 Objaverse-XL、Poly Haven 和 Blender 生成动态照明视频，两部分都渲染统一 scene proxy。
2. Scene Agent 将提示解析为对象及空间关系图，检索 mesh 并调整 pose；根据灯光语义选择或生成 HDR map，Camera Agent 把镜头提示变成 keyframes，再用 spline 插值得到连续轨迹。
3. 三类 RGB render passes 沿通道拼接为 9-channel condition，用轻量 2D convolutional proxy encoder 映射到 video latent 尺度，以零初始化可学习权重将残差信号加入 Wan2.2-5B 的生成过程，采用 flow-matching objective。
4. 先冻结 diffusion backbone 训练 encoder/adapter，再联合训练 backbone LoRA 与条件模块，最后以 1:1 real/synthetic 数据继续微调以扩展光照多样性。