DiffGraph: An Automated Agent-driven Model Merging Framework for In-the-Wild Text-to-Image Generation

Idea

DiffGraph 把不断增长的 T2I expert models 组织成可更新的 graph，根据用户 prompt 检索所需 experts，再激活局部 subgraph 预测 merging coefficients。它同时考虑 checkpoint experts 与 PEFT / LoRA experts，以适应不同任务所需的 expert 数量和组合。

Research Problem

现有 model merging 通常针对少量固定 experts，新组合往往需要重新训练或 test-time optimization。直接使用 model parameters 描述 expert 又难以应对在线模型的异构性；仅凭模型主页文字判断能力，也不足以知道多个 experts 如何组合才能产生好图像。

Insight

Expert 的能力可以由语义描述与实际 benchmark behavior 共同表征。前者支持按需求检索，后者把不同模型放到共享的 capability space；在局部 graph 上学习组合规则，可避免让 planner 读取所有参数，也减少不相关和重复 experts 对生成质量的干扰。

Method

1. Graph Construction Agent 从 expert homepages 提取 capability descriptions，编码为 node features；再让各 expert 在 reference prompts 上生成图像，把多种 quality scores 存为 expert–prompt edge features，完成 node calibration。
2. Expert Selection Agent 从用户 prompt 提取总体风格与细粒度 attributes，分别检索 checkpoint 和 PEFT candidates，再由 LLM 过滤不相关或冗余模型。
3. Merging Planner 激活选中 experts 与 reference prompts 的 subgraph，并插入 user prompt node；VGAE 编码 node / edge information，预测每个 expert 的 Beta-distributed weight。
4. 仅训练轻量 VGAE，以 policy gradient 优化合并模型的 image quality；推理时采用预测分布的期望，分别归一化并合并 checkpoint parameters 与 PEFT updates，再生成图像。