Hybrid Agents for Image Restoration

Idea

HybridAgent 将 image restoration 的请求理解、退化识别和结果反馈分给 FastAgent、SlowAgent、FeedbackAgent，并把单类退化与 mixed distortion restoration tools 纳入统一调度。核心改变是根据指令明确程度分配推理开销，同时直接处理纠缠退化，避免所有输入都经重型 MLLM 和逐项修复。

Research Problem

RestoreAgent、AgenticIR 等系统依靠逐步调用独立修复模型，噪声、模糊和压缩伪影之间的耦合可能造成分布变化及误差传播。专业用户已经指出退化类型时，再运行视觉诊断也增加开销。另一方面，普通用户的模糊请求需要视觉识别及停止判断，固定单一交互模式难同时满足两类需求。

Insight

交互难度与修复难度是两个可分别处理的因素。明确的语言需求可走低成本路径，复杂图像则需要领域适配的诊断和反馈。共享 restoration backbone 能保留不同任务的共通知识，而单独训练 mixed tool 能学习联合退化映射，减少串行工具之间的失配。

Method

1. FastAgent 采用 Llama3.2-1B-Instruct，通过 in-context learning 判断请求是否明确。明确请求直接映射到修复工具，否则转交 SlowAgent。
2. 在 Co-Instruct 上用退化指令数据微调 SlowAgent，扩展 distortion recognition 范围，再通过多个诊断结果的 majority voting 选择退化类型和工具。
3. FeedbackAgent 同样从 Co-Instruct 微调，判断输出是否已达到相对 clean 状态，并读取历史工具调用，决定继续修复或终止，避免仅凭通用 IQA 分数决定完成。
4. 工具训练分三阶段：先训练共享 prompt-based all-in-one restoration model，再为各单任务重新初始化 prompts 并做 LoRA adaptation，最后继承单任务 prompts、结合混合退化合成数据训练 hybrid restoration tool。