Absolute Zero: Reinforced Self-play Reasoning with Zero Data

RLVR 可以用最终答案的正确性训练 Reasoning，但训练题目通常仍由人收集。随着 Solver 变强，固定题库会重复提供过于简单的题，难题又可能完全没有成功信号。AZR 研究能否连训练任务也由当前 Model 产生，并利用可执行环境维持反馈可靠性。

从任务难度看，已会的题提供很少新信号，完全不会的题也难以通过 Outcome Reward 学习。若程序执行可以免费提供明确结果，就能把程序、输入、输出中不同部分遮住，构造多种 Reasoning 任务。再根据当前 Solver 的成功率奖励题目生成者，就得到一个随能力变化的 Curriculum。

AZR 把训练分布也交给 model 学习：出题角色寻找具有学习价值的任务，解题角色学习完成任务，两者共享 model。代码 executor 将这一循环固定在可验证的环境中，使 curriculum 变化能够与 model 更新相互作用，降低人工题库的供给压力。

以论文的 Deduction 任务类型作教学演示：Proposer 生成程序 f(x)=x*x+1 和输入 3，Executor 得到输出 10。给 Solver 程序与输入，让它推断 10，再由 Executor 核验。Abduction 改为给程序和输出寻找输入；Induction 根据示例寻找程序。只有有效任务进入训练，Proposer 与 Solver 共享的 Model 被更新，下轮继续出题。此处简单函数用于解释，非原文测试样本。

设一题采样 G 次，p 是其中成功比例。Solver 的正确答案得 1。Proposer 的原文 Reward 在 p=0 时为 0，否则为 1−p：全部失败的题不会被奖励，偶尔能解的较难题得到更高奖励。注意它不是在 p=0.5 处达到最大值的对称函数；有限采样中一次偶然成功就可能显著改变奖励。Policy Gradient 再提高高于基线奖励的生成序列概率。

p = (1/G) Σᵢ 𝟙[answerᵢ is correct]
r_propose = 0, if p = 0; otherwise 1 − p
r_solve = 𝟙[answer is correct]

用四次 Solver 尝试算一遍。若只有一次答对，p=1/4，Proposer 得到 0.75；若四次全对，p=1，Proposer 得到 0；若全部失败，论文单独将奖励设为 0。这个分段设计偏好仍有成功可能的难题。每次 Solver 自己的奖励则由该次答案是否通过 Verifier 决定。Proposer 的难度信号来自当前 Solver 的有限采样，所以四次失败可能表示题目不可解，也可能只是 Solver 暂时较弱；这正是需要独立检查的歧义。

AZR 将 Experience Generator 与 Solver 同时更新，但 Grounding 来自固定的程序语义。理解它应区分预训练知识、任务设计空间和训练期题库。没有外部题目数据，不代表没有先验知识或环境约束。

最脆弱的假设是当前成功率能代理未来学习价值。一个题目可能因为格式奇怪而难，也可能只需要一个罕见常数；低但非零的成功率未必意味着值得学习的可迁移结构。

零外部数据指这一训练过程不使用外部题库；系统仍依赖 pretrained model、执行环境和人为设计的 reward 机制。