The Curse of Recursion: Training on Generated Data Makes Models Forget

当训练数据越来越多来自上一代 Model，真实分布中的罕见事件是否还能保留？Model Collapse 研究递归生成和重新拟合如何积累采样与近似误差。它关注信息保真，不能被简化成所有 Synthetic Data 都无效。

即使每代都完美拟合当前样本，有限样本也可能漏掉稀有事件。若下一代只能从这次拟合出的分布采样，已经消失的事件就没有恢复来源。反复进行后，误差会沿代际传播。这个最简单的采样现象足以提示风险，再加入函数近似与学习误差，情况可能更复杂。

有限样本和近似拟合会遗漏低概率事件；当下一代把上一代的输出当作现实样本时，这些误差可能被继承和放大。因此训练损失下降或常见模式保持，并不足以说明整体分布被忠实保留。

用论文离散分布分析作教学演示：真实分布有三类事件，其中稀有类概率为 0.01。每代只抽 100 个样本，再精确拟合类别比例；若某代没有抽到稀有类，其估计概率就变成 0，后代纯合成采样再也不会出现它。输入是初始分布与代际规则，输出是概率分布随代数的变化。

独立抽一次未见稀有事件的概率是 1−q，抽 M 次都未见就是 (1−q)^M。q=0.01、M=100 时约为 0.366，说明平均只期待一个样本并不意味着每代一定看到一个。若完全替换且零概率不可恢复，丢失会成为吸收状态。这个教学计算解释一种机制，不能代替原文对 Gaussian、VAE 和 LLM 的全部分析。

P(no rare event in M samples) = (1−q)^M
For q=0.01, M=100: probability ≈ 0.366
No fresh support + zero fitted mass → no recovery

若真实分布中一类事件的概率 q=0.01，那么一次抽样没遇到它的概率是 0.99；独立抽 100 次都没遇到，概率就相乘为 0.99¹⁰⁰≈0.366。假如下一代只拟合这 100 个样本，并把未出现事件的概率设为 0，它以后也生成不出该事件。这展示了一条不可恢复的信息丢失路径。它依赖独立抽样、替换训练集与零概率拟合等教学假设；保留真实数据、平滑或外部信息会改变结论，不能据此断言所有 Synthetic Data 都会导致 Collapse。

关注的对象应是分布覆盖与信息来源，而非只看生成文本流畅度。平均质量可以暂时稳定，罕见模式却已经消失；外部锚点的作用需要被显式记录。

最脆弱的广义解释是假定纯合成替换过程代表所有自训练。现实方法可能累积真实数据、重加权稀有样本或利用可执行真值，这些干预会改变恢复信息的可能性。

理论结果依赖采样与近似 model 假设，实验也有具体的数据替换及训练配置。本条核读定义、理论动机和实验概览，未逐项验证定理；不能将结果扩大为所有 self-training、蒸馏或带执行验证的方法都会坍缩。