See and Fix the Flaws: Enabling VLMs and Diffusion Models to Comprehend Visual Artifacts via Agentic Data Synthesis

Idea

ArtiAgent 从真实图像主动合成 structural visual artifacts，同时产生有缺陷与无缺陷的成对数据和局部解释。三个 agent 负责语义定位、借助 DiT 操作注入缺陷、过滤并标注结果，使模型学习多指、缺失、扭曲和物体融合等仍具逼真纹理的结构错误。

Research Problem

以往 artifact 数据依赖昂贵人工标注，许多样本侧重噪声、模糊等早期生成模型失真。现代图像可在像素层面逼真而违反物体结构常识，直接让 VLM 判断也不够稳定，因此需要可控注入、已知位置且覆盖多类型的训练来源。

Insight

真实图像提供正常结构参照，target–reference patch mapping 把“改什么、改哪里”显式化。在 DiT 中同时改变位置编码与 value，分别控制空间位置解释和填充的语义内容；成对原图还能帮助筛选器确认改动及解释，而非凭单图猜测。

Method

1. Perception agent 生成 entity–subentity 层级词表，区分外围部件和中间主体，调用 Grounded-SAM 得到 masks，再用包含重叠关系关联部件与父实体。
2. Synthesis agent 为 add、remove、distort、fuse 选择 target / reference patches：添加或移除外围部件，重排主体 patches，或在重叠实体之间混合局部内容。
3. 先 inversion 原图并缓存各层 value，denoising 时用 reference 的 RoPE 位置及缓存 value 替换 target 表示，背景沿用原位置和原内容。注入仅在早中层且避开最后 denoising steps，以减少明显边界捷径。
4. Curation 对 distortion 用 LPIPS 区间过滤，对其余类型用原始上下文、原 crop、修改 crop 三元组核验。随后生成局部及全局解释，构建 50K 成对样本，并以独立人工标注 ArtiBench 检验 detection、localization、explanation。