JarvisEvo: Towards a Self-Evolving Photo Editing Agent with Synergistic Editor-Evaluator Optimization

Idea

JarvisEvo 将修图、观察编辑结果、自评分和反思放入 interleaved multimodal chain-of-thought（iMCoT），并让同一个模型的 editor 与 evaluator 能力通过 SEPO 交替优化。核心改变是让视觉反馈进入每一步编辑，并让评价器随策略一起更新。

Research Problem

纯文本 CoT 只在开始编码图像，后续编辑假设没有中间结果校验，复杂指令容易偏离。固定 reward model 的漏洞可被持续更新的 editor 利用；仅靠内部评分又可能自我欺骗，离线校准不能解决策略分布不断变化的问题。

Insight

编辑和评价可以共享模型，但必须区分两种学习信号。Editor 从组内相对偏好学习操作，evaluator 则由 human-annotated score 约束。Selective loss masking 避免 editor 通过直接提高自己的评价文本获得奖励，从优化路径上减少自评分与编辑质量混淆。

Method

1. 先用编辑与评价样本做 cold-start SFT，训练文本推理、工具语法、intermediate image 读取和评分。推理时在外部 sandbox 执行编辑工具，把输出图像重新加入轨迹，支持 Adobe Lightroom 全局与局部编辑。
2. SEPO editor loop 对同一输入采样多条轨迹，以格式、工具名称及参数有效性、审美与指令符合度组成 reward；自评分转换为组内 pairwise win rate，再以 GRPO 更新推理和 tool-call tokens。
3. Selective loss masking 排除自评价 tokens。Evaluator loop 单独读取原图、指令与完整编辑上下文，通过格式奖励和预测分数对人工分数的对齐奖励训练，loss 只覆盖评价输出。
4. 按当前策略高低分轨迹构造 reflection 数据，把差结果与优结果交给 Gemini-2.5-Pro 分析差异，以更优轨迹的工具配置及图像为修正目标，最后做 reflection fine-tuning。