Agentic Retoucher for Text-To-Image Generation

Idea

Agentic Retoucher 将生成图像的局部修复拆成 perception–reasoning–action loop：先定位 distortion，再解释 defect 类型与上下文原因，最后选择合适的 local editing tool。修复结果重新进入 perception，逐步处理局部问题，减少整图 re-generation 带来的 semantic drift。

Research Problem

T2I 模型仍容易生成异常手指、面部、文字与交互关系。这些 artifact 往往面积小且依赖上下文，普通 VLM 的 spatial grounding 不足，既可能漏检，也可能对正常区域做不必要修改；没有精确 mask 与 diagnosis，inpainting 难以兼顾局部纠错和原图内容保留。

Insight

是否存在 distortion、它是什么问题、如何修复，是相互依赖但不同的决策。Context-aware saliency 提供空间依据，human-aligned diagnosis 将区域转成可执行编辑需求，Action Agent 再选择工具；因此增强局部证据与诊断监督，比仅让通用 VLM 反复评价整张图更有针对性。

Method

1. 构建 GenBlemish-27K，为生成图像中的 artifact regions 提供 category、mask 与自然语言描述，经多位 annotators 和 expert validation 支持 localization 与 diagnosis 训练。
2. Perception Agent 用 ViT–T5 双 encoder 融合 image 与 prompt features，预测 distortion-saliency map；以 MSE 与 KLD 组合训练，再经 thresholding 和 dilation 得到 mask candidates。
3. Reasoning Agent 先以 LoRA SFT 学习 taxonomy 和结构化描述，再用 GRPO 结合 distortion classification accuracy 与描述对 human labels 的 semantic alignment，改善 region-level diagnosis。
4. Action Agent 根据 masks、descriptions、计算约束与用户偏好，在 VLM-based editing 和 mask-guided inpainting 工具中选择操作；更新图像后重新检测，形成迭代修复过程。