Beyond Sequential Tools: A Unified VLM Agent System for Photographic Post-Processing via Dynamic Multi-Expert Fusion

Idea

该方法让 VLM 诊断图像中的 mixed degradations，再把对应 expert LoRAs 按权重合并进一个 diffusion restoration backbone。Agent 的 action 从依次调用多个独立模型，变成一次组装面向当前图像的组合模型，并用统一 restoration process 同时处理多个问题。

Research Problem

真实照片中的 blur、noise、haze 等往往耦合出现，单项 restoration model 不擅长混合退化；sequential tool pipelines 则依赖调用顺序、累积 artifacts，且延迟高。另一方面，VLM 能描述退化程度，并不意味着它能直接给出视觉效果最好的数值 mixing weights。

Insight

作者提出在共享 backbone 内组合 expert updates，使不同 restoration skills 在同一模型中协作。只适配 attention 的 K / V、保留 Q，意在降低 expert fusion 的冲突；再用 human preferences 校准权重分配，把语言层面的 diagnosis 与最终 perceptual quality 联系起来。

Method

1. VLM 读取 degraded image 与可选 user prompt，产生更明确的 enhancement instruction，并识别所需 restoration experts 及其强度。
2. 分别在 single-task restoration data 上训练 expert LoRAs，只更新 self-attention 的 Key / Value projections，冻结 backbone 的其余参数与 Query projections。
3. 在 frozen visual features 上附加轻量 MLP，将每个 expert 的权重离散为 bins；先用 VLM heuristic weights 做 cross-entropy pretraining，再根据不同权重生成图像的人类 pairwise preferences 进行 DPO。
4. 推理时把 weighted LoRA updates 加到 Flux-Kontext 的 K / V matrices，结合原图与增强 prompt 执行统一 restoration。这里的 single-pass 指避免多个独立 restoration tools 串行处理，不等于 diffusion 仅有一个 denoising step。