The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery

自动科研不能只生成一个 Idea，还要实现、实验、检查结果和形成可审查叙述。The AI Scientist 研究把这些阶段连成 Pipeline，在轻量 ML 模板上完成研究产物。其意义是观察完整过程的可行性与失败模式，论文数量本身不能代表科学知识增量。

一个小型 ML 实验通常已有可运行 Baseline；接下来需要提出可测试变化、修改代码并比较。LLM 能承担这些局部任务，因此可用结构化文件连接阶段，保存 Idea Archive 避免重复，再以结果驱动实验迭代。最危险的断点是论文叙述可能偏离实际执行记录。

可执行实验和可检查的论文产物能把 language model 的想法落到外部证据上。将研究想法、实现计划及已完成研究保存在档案中，可以为下一轮提供探索历史，而不仅依靠一次性生成的灵感。

原文提供小 Transformer 训练 Shakespeare 文本等起始模板。系统提出研究方向，修改训练代码，运行和绘图，根据结果继续实验，再将记录写成 LaTeX 论文，最后由 Reviewer Model 给意见。输出是代码、实验结果与论文。这里主要改进外部研究产物；没有证明 Scientist 自身的研究策略被持久更新后接管下一代。

该框架没有统一的科学发现目标函数或核心收敛推导。每个生成项目有自己的训练 Loss，Review Score 又是另一评价层。用一个分数概括论文质量，会把正确性、意义、新颖性和表达混在一起。研究笔记应追踪 Claim→Experiment→Artifact 的证据链，而非把 Reviewer 分数当作知识发现的概率。

Idea → executable change → experiment logs → claim → review
A high review score does not establish a valid scientific claim

这篇工作将科研自动化的多个环节放到一起，方便审查接口失败。应区分可运行、可复现、结论成立与研究有价值四个层次。

最脆弱的假设是同源系统能可靠审查自己生成的研究。提出 Idea、写实验和审稿的模型可能共享偏差，尤其容易接受叙事流畅却证据薄弱的结果。

原论文依赖人工提供的研究方向、初始模板和评价流程；示范主要是小规模 machine learning 实验。自动评审有偏差，写作也可能错误解释数据。本条核读方法、案例与局限材料，未复核全部生成论文。