Self-Rewarding Language Models

Preference Training 的上限受反馈质量影响。若 Judge 固定，Solver 逐渐变强后仍被同一套误差模式评价；若一直追加人工判断，成本又随规模上升。问题因而落在一个具体闭环上：能否让产生回答的 Model 同时学习判断回答，并让新 Judge 参与下一轮数据生成？

先考虑一个可观察事实：Model 有时不能一次写好答案，却能指出两个答案的差别。把这种判断能力转成 Pairwise Preference，便有了额外训练数据。如果经过训练的 Model 判断也更可靠，那么上一轮的 Judge 就没有必要永久冻结。这个推理依赖生成与判断能共同受益，仍需分别测量两种能力，不能提前用最终成功作为前提。

固定 reward model 可能成为训练瓶颈，因此论文让 model 同时承担回答者与 judge，再将自生成偏好用于下一轮学习。值得关注的是 reward 判断能力是否随训练提升：若这一环节改善，后续训练信号也有机会变好，形成 feedback 与 policy 的共同更新。

沿用原文的开放式 Instruction Following 设置。教学输入是“解释为什么天空呈蓝色”。同一 Model 生成几个回答，并按固定 Rubric 为它们评分，选择高低分答案组成 Preference Pair，DPO 更新 Model。新版再回答和评分。主实验的 Prompt Generator 固定为 Llama 2 Chat 70B；会更新的是用于回答与 Judge 的 Model，不能把整个数据生产链都画成同步演化。

用 DPO 理解训练：给定偏好答案 y+ 和非偏好答案 y−，先计算当前 Model 相对 Reference Model 对各答案的 Log Probability 增量，再取差。差越大，表示训练更偏向 y+。Sigmoid 把差转换成 0 到 1 的偏好概率，负对数使错误排序受到较大惩罚。β 控制相对偏移尺度。这优化的是给定 Preference Label；标签本身是否正确，Loss 无法保证。

s(y) = log πθ(y|x) − log πref(y|x)
L = −log σ(β·[s(y+) − s(y−)])
σ(z) = 1 / (1 + exp(−z))

从两个候选理解 DPO。x 是同一个问题，y+ 是被 Judge 偏好的回答，y− 是另一个回答；πθ 是正在训练的 Model，πref 是固定参照。s(y) 衡量相对参照，当前 Model 把这个回答变得多常见。两者相减得到 Preference Margin。初始 Margin 为 0 时，Sigmoid 给 0.5，Loss 约为 0.693；若 β×Margin 变为 2，Loss 约为 0.127。因此，降低 Loss 会把相对概率推向被偏好的回答。这个推力只遵循训练标签：Judge 选错时，同一公式也会强化错误偏好。

这项工作把 Evaluator 也纳入可更新的系统状态。理解它要问三件事：谁提供 Prompt、谁生成答案、谁决定偏好。只说“Model 自己奖励自己”会遗漏固定 Rubric、Seed Data 和训练算法这些外部锚点。

最脆弱的假设是同源 Judge 的改进与真实回答质量一致。生成者和 Judge 可能共享事实盲区，或共同偏爱更长、更自信的风格；它们的互相认同上升，并不必然意味着外部用户获得更可靠的信息。

这些结果对应有限训练轮数与特定评估；持续改进是否稳定，需要更长周期与独立评价。