STaR: Bootstrapping Reasoning With Reasoning

Reasoning Trace 可以让 Model 在输出答案前完成中间计算，但高质量人工 Trace 昂贵。只用少量 Few-shot 示例又无法充分改变 Model 的能力。STaR 研究如何从已有问题及答案出发，让 Model 生成可用于训练的中间过程，并逐轮扩大能够处理的问题范围。

先观察正确答案具有一个廉价判据，完整思考过程却没有。可以先把成功解题时生成的过程当作候选训练数据。困难在于 Model 最不会的题一直没有成功样本；此时把正确答案作为提示，再让它补出解释，就可能打开新的训练入口。最后必须去掉答案提示测试，检验它学到的是推理还是事后合理化。

STaR 利用答案监督筛选 model 自己生成的 reasoning，将原本缺少中间步骤的数据转化为训练材料。失败题可以借助正确答案再生成解释，使训练覆盖更多问题；关键机制是生成、验证与 fine-tuning 的循环，而不是把所有自生成文本都当作正确知识。

原文 Rationalization 示例问结账前葡萄放在哪里，选项包括 grocery cart。第一次若答错，训练数据生成阶段会提示正确选项，再要求生成相应 Rationale；得到“结账前商品放在购物车中”的解释后，将其用于 Fine-Tuning。下一轮生成时不再给正确答案。每轮新数据收集后，原实现从同一个初始 Pretrained Model 重新训练，以减少反复拟合同一轨迹的风险。

把 Rationale r 看成隐藏的中间变量，最终答对的概率是所有路径概率之和。Reward 只在最终答案正确时取 1。Policy Gradient 的 Log-derivative Trick 把“提高期望正确率”写成“提高成功路径的 Log Probability”。STaR 用筛选成功样本再监督训练近似这个过程；Greedy Sampling 和在同批数据上多次训练会引入近似，不能直接视为精确 RL 更新。

p(y|x) = Σ_r p(r|x) p(y|x,r)
J(θ) = E_(r,y~pθ)[𝟙(y=y*)]
∇J = E[𝟙(y=y*) · ∇log pθ(r,y|x)]

这里 r 是 Rationale，y 是最终答案，x 是问题。第一式按所有可能的 r 求和，意思是一个答案可以沿多条推理路径得到。第二式对采样路径取平均，只奖励最终答案正确的路径。推导的关键是 ∇p=p∇log p：把概率的导数改写成概率乘以 Log-Probability 的导数，就能用采样近似梯度。最后的二值奖励会删去错误路径，只留下成功路径的增大概率方向。这解释了筛选成功轨迹再训练的直觉；论文的 Rationale Rationalization 与数据构造还加入额外步骤，不能把这三行当作完整算法的等价证明。

STaR 的循环同时改变 Solver 与下一轮 Rationale Generator。最终答案可验证使数据过滤容易，但它只验证终点，不能证明每一步推理都正确。该区别对后来 Self-Training 与 RLVR 的研究仍很关键。

最脆弱的假设是通向正确答案的 Rationale 通常更值得学习。答案提示可能诱导听起来合理却不忠实的解释；错误步骤也可能相互抵消，偶然得到正确结论。

仍需要题目、正确答案及少量 reasoning 示例，不能理解为完全摆脱外部监督。