AutoReproduce: Automatic AI Experiment Reproduction with Paper Lineage

Idea

AutoReproduce 通过 paper lineage 补全论文没有写明的领域实现惯例，再让 research agent 与 code agent 协作完成数据、方法和实验管线。其复现目标同时包含与论文一致和代码可执行，并用 mini-batch dry runs 尽早暴露数据流与训练配置错误。

Research Problem

仅凭目标论文生成代码会遗漏继承自前作的 architecture、preprocessing 或训练习惯；单次代码生成或只检查文档内容，也不能确保 shape、dtype、依赖和 epoch 流程实际能运行。复现因此需要追踪研究来源，并把语义审核与执行反馈连接起来。

Insight

科学方法有可追溯的累积性，引用上下文和前作官方代码可作为隐含实现知识，而不只是背景阅读。不同 agents 分别检查论文意图与程序行为，再用小样本执行降低调试代价，使早期实现偏差在完整训练前可被发现。

Method

1. 用 MinerU 将 PDF 转为 Markdown，research agent 分别形成 overall、method 和 experiment summaries；可选加入结构图信息以辅助理解。
2. 从目标论文引用中按领域、方法及主要对比 baseline 选择 top-k 相关论文，默认三篇；读取其正文与官方仓库，code agent 筛选相关文件并整理 summary–code exemplars，无代码时保留文献知识。
3. 对标准数据生成 loader，对自定义数据使用提供的 preprocessing pipeline；执行采样 mini-batches 获取 shape、dtype 等实际属性，并先分析 traceback 再作局部行编辑。
4. 在 method replication 与 experiment execution 阶段，code agent 实现和调试，research agent 按摘要审核并提供修正；通过带 early-exit 的完整实验脚本作 dry run，最终 refactor 移除调试设置。
5. 构建十三篇人工验证的 ReproduceBench，清理官方实现并重跑作为参考；分离论文/代码 alignment 评估与实际执行结果，以检验“写得像”与“跑得对”的不同维度。