Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking

普通文本包含大量未写出的中间推理，逐条标注不现实。Quiet-STaR 研究能否在一般文本的不同位置生成潜在 Rationale，用后续文本的可预测性训练有帮助的思考。它将 Reasoning 学习从有明确答案的题库扩展到语言建模。

在读一句话时，人会推断省略的原因、意图或中间计算；这些推断通常能帮助预期下文。若一段内部文字让 Model 更好预测真实后续文本，就可把它视为候选有用思考。初始思考可能很差，所以需要一种平滑机制保留原有预测能力，再逐步学习何时使用思考。

中间 reasoning 是否有用，可以通过它改变后续文本概率的效果来衡量。这样，未写出的解释成为可学习的隐变量，监督来自真实后文；重点是学会产生对预测有帮助的 reasoning，而非要求 reasoning 文本模仿人工标准答案。

沿用原文的一般文本训练设置作演示：给定关于某人忘带雨伞的前缀，Model 在该位置采样短 Rationale，再预测后续文本。比较有无思考的预测质量，好的思考得到较高训练信号。实际训练会在多个位置并行处理，并用 Mixing Head 混合预测。这个天气句子是教学构造，不是论文报告的样本。

核心信号是 Thought 对未来文本 Log-Likelihood 的帮助。离散 Rationale 无法像连续向量那样直接求导，因此使用 REINFORCE 风格估计：高于基线的奖励提高该 Rationale 的生成概率。Mixing Head 学习在有无 Thought 的 Logits 之间插值，避免初期低质量 Thought 破坏原能力。下面是简化估计，不包含原文所有并行与非短视细节。

R(r) ≈ log p(future | prefix,r)
∇J ≈ (R(r)−baseline) · ∇log p(r|prefix)
Mixed logits = α·logits_thought + (1−α)·logits_base

把 Rationale 当作一个会被采样的动作 r，就能理解 Policy Gradient。它如果让真实后续文本更容易预测，R(r) 会较高；减去 Baseline 后得到相对好坏的信号。乘上 ∇log p(r|prefix)，正信号会提高这类 Thought 的采样倾向，负信号则降低它。Logit 是 Softmax 前的分数，Mixing Head 学习的 α 控制 Thought 路径与普通路径的混合。这里列的是教学近似；论文使用跨后续位置的学习信号，不能将单个 Token 概率提升当作已经学会一般推理的证据。

Quiet-STaR 的监督来自未来文本，优化目标首先是预测质量。Thought 更像一个待学习的中间计算通道，流畅或长并不代表更有用。

最脆弱的假设是更好预测文本意味着学到可迁移 Reasoning。文体模式、常见叙事和局部词汇线索也能提高 Likelihood，却未必帮助需要新计算的任务。

预测后文更好不等于中间解释在逻辑上真实，model 仍以外部文本提供的信号学习。并行采样与额外 reasoning 增加计算需求；实验不表明系统能创造新训练算法，也不证明持续扩大 reasoning 长度会获得无界改进。