RetouchIQ: MLLM Agents for Instruction-Based Image Retouching with Generalist Reward

Idea

RetouchIQ 训练 MLLM 将审美指令映射为可执行 Lightroom 参数，并用 Generalist Reward Model（GRM）指导 RL。GRM 先针对原图和指令生成评价维度，再解释并输出标量评分，避免用同一组固定像素指标定义所有创意编辑目标。

Research Problem

一条暖色或秋日氛围指令可以对应多个合理结果，reference pixel similarity 会惩罚有价值的不同实现。只用人工编辑与随机参数扰动训练 reward model 也有分布缺口，因为真实 policy 往往同时调整多个相关参数，简单坏样本不代表它的实际错误。

Insight

评价标准应依赖当前意图，而评价器训练数据应贴近当前 policy 的输出。该方法将如何评价变为可生成的 reasoning，并以用户编辑优于较弱编辑的排序训练信号约束评分，再通过交替训练缓解静态 reward 对复杂编辑失准。

Method

1. 从真实 Lightroom 用户编辑历史收集 before/after image 与参数配置，用固定 MLLM 补注用户 goal 和操作 reasoning，过滤意图含糊或推理不一致样本，构建 instruction–reasoning–edit 数据。
2. 对 policy 做 autoregressive SFT，学习同时输出 reasoning 与结构化参数。RL 时采样候选配置，经 Lightroom runtime 实际执行，再把 before/after、指令送入 GRM，结合格式奖励优化编辑策略。
3. GRM 初始数据以用户结果为 strong edit，由 MLLM 指导扰动部分编辑配置生成 plausible weak edit，并过滤排序错误。SFT 学习生成 case-specific metrics、权重及两张结果的对应评分。
4. Policy-Guided Reward Training 将 weak edit 从人工扰动切换为 policy-generated output，用 strong score 高于 weak score 的排序奖励及格式奖励训练 GRM。Policy 与 reward model 交替更新，首次 reward RL 尚无 policy 时仍用扰动样本。