Why Self-Rewarding Works: Theoretical Guarantees for Iterative Alignment of Language Models

Self-Rewarding 的经验增益留下一个理论问题：没有持续外部反馈，系统为什么不会只是强化已有偏差？这篇论文建立一个可分析的迭代模型。其价值在于指出结论依赖哪些初始条件、样本量和稳定性条件；读者需要同时看被界定的误差究竟是什么。

可以先把复杂 LLM 简化为对有限回答分配概率的策略。一次更新若过度依赖很差的初始化，误差可能很大；多轮是否缓解这个问题，取决于更新是否让某种不稳定量收缩。接着把误差拆为有限样本带来的噪声，以及初始状态留下的影响，就得到可以分别研究 n 和 T 的理论路线。

理解 self-rewarding 要同时追踪 policy 与 reward 如何变化：本轮 model 产生的监督，又会影响下一轮的 policy。作者以 policy condition number 刻画这一耦合过程，把迭代的作用解释为内部稳定性的改善，为区分单轮训练与多轮循环提供了分析工具。

这是 Theory，Worked Example 使用教学模型：一个问题有三个可能回答，Policy 为它们分配概率。按论文设定生成自反馈并更新分布，然后检查 Model 是否对其自身最优响应集中足够概率。输入是初始 Policy、样本数和更新规则，输出是误差上界。若 Model 一开始偏好的回答恰好是外部事实错误，这个例子也说明内部集中与客观正确之间还缺少一道论证。

Theorem 5.3 的上界可读成“统计项乘以稳定项与暂态项之和”。n 是每轮样本量，T 是轮数，c 是跨轮最小置信度，γ 是最优响应与竞争响应的 Log-Probability Margin，κ₀ 描述初始化条件。暂态项随 T 增大衰减，统计项按 1/√n 缩小。结论还依赖 Realizability 及正的 c、γ。下面保留主要项、略去对数因子；它界定的是对自身最优响应置信度不足的概率，不能替换成所有真实任务的错误率。

Pr[π_T(y*_T(x)|x) ≤ 1−δ]
 ≲ [1/(γ·δ·√n)] · [1/√c + √κ₀/(1+√(n·c))^((T−1)/2)]
Assumptions: realizability, c > 0, γ > 0; β ≲ 1/√n

先拆左边的事件。π_T(y|x) 是第 T 轮 Model 给回答 y 的概率，y*_T(x) 是该 Model 在这个输入下最偏好的回答；δ 是允许偏离 1 的程度。取 δ=0.1，括号内就在问：最偏好回答的概率是否仍不超过 0.9。外层 Pr 衡量这种事件出现的概率。右边则是一条上界，不是精确预测。固定其他量，把 n 增至四倍，显式的 1/√n 缩至一半；增加 T 只衰减暂态项，稳定项仍在。最后要区分 Concentration 与 Correctness：一个 Model 可以以 0.99 的概率坚持错误答案，所以这条不等式不能独自证明外部任务变得更正确。

最有用的阅读动作是把“证明了什么”写成精确事件：哪个分布、哪个响应、哪个概率。内部稳定性可以是研究目标，但需要额外证据才能连接到外部正确性或人类偏好。一个带条件的界比无条件的“自奖励有效”更有信息。

最脆弱之处在于跨输入、跨轮次保持正 Margin 与置信度，以及目标 Policy 可被模型类表达。平均置信度高无法替代最坏情况条件；接近决策边界的少数任务，可能使界中的常数变得很大。

论文的 best response 与 self-rewarding 由 model 内部概率定义；内部一致性保证不能直接推出外部事实正确性或人类 preference alignment，也不等于无限改进。