Vinedresser3D: Towards Agentic Text-guided 3D Editing

Idea

Vinedresser3D 用 MLLM 把自然语言编辑指令转成分解后的文本、参考图与自动 3D mask，再在 Trellis 原生 3D latent space 中执行局部 inversion-inpainting。Agent 负责语义理解、部位选择和观察视角，生成模型负责几何与外观的一致修改。

Research Problem

Text-guided 3D editing 需要同时理解复杂指令、定位编辑区并保留其他内容。逐视角二维编辑后重建容易出现多视图不一致和遮挡信息丢失，人工 3D mask 又增加使用成本。仅用 Trellis-text 细节不足，仅用 Trellis-image 则难控制不可见区域。

Insight

结构与外观、全体资产与目标部件应分别描述，使语言约束与两阶段 3D generator 对齐。图像提供具体外观细节，文字补充完整语义，两者交替引导 native 3D denoising，再借原资产 inversion trajectory 固定保留区域，可以减少跨视图重建的不一致。

Method

1. 从多视图渲染让 MLLM 描述原资产、识别目标部件与 addition/modification/deletion 类型，生成保留无关语义的新描述，并进一步拆成 Stage 1 geometry 与 Stage 2 appearance guidance。选择目标最清晰的视角，用 Nano Banana 编辑得到 image guidance。
2. 对 modification/deletion 用多个粒度的 PartField segmentation，让 MLLM 从带颜色的多视图选目标部件。Addition 允许原资产外的 voxels，deletion 只选目标部件；modification 根据保留部件包围盒与空 voxel 的 KNN 邻居归属扩展编辑区域。
3. 用 RF-Solver 对 Trellis 的 sparse structure 与 SLAT features 做高精度 inversion，实验以 CFG=0 稳定重建。随后 mask-guided denoising 每一步用原 inversion 轨迹替换保留区域 latent。
4. Interleaved Trellis module 交替执行 text-conditioned 与 image-conditioned flow timestep。Stage 1 下采样 mask，Stage 2 在边界用 distance-based soft blending；删除任务跳过 Stage 1，移除目标 voxels 后用 Stage 2 平滑边界。