NERFIFY: A Multi-Agent Framework for Turning NeRF Papers into Code

Idea

NERFIFY 面向 NeRF paper-to-code，利用 domain knowledge、citation recovery、Graph-of-Thought repository synthesis 和 visual feedback，把论文转换为可训练的 Nerfstudio plugin。它把运行成功与渲染质量分开处理，既修复代码依赖，也针对实际 rendering artifacts 改进实现。

Research Problem

NeRF 的 rendering equations、sampling、encoding、loss 和 training configuration 强耦合，论文还经常省略被引用方法的实现细节。通用 code agent 即使生成语法正确的文件，也可能因 tensor shape、gradient 或接口错误无法训练；能够训练的实现又可能出现 floaters 等仅从图像才能发现的问题。

Insight

领域内复现更适合被建模为受 framework contracts 约束的组件装配，而不是一次性生成整个 repository。Citation graph 补全方法来源，repository DAG 明确生成依赖，rendered views 则提供代码测试之外的任务反馈；这些结构共同缩小错误定位与修复的搜索范围。

Method

1. 用 MinerU 将论文解析为保留 equations、pseudocode、figures 与 citations 的结构化表示；结合 paper–code examples 和 Nerfstudio 的 context-free grammar 建立 domain knowledge base。
2. 沿 citation graph 递归识别并检索被借用的 sampler、encoder、loss 和 training protocol，直到目标方法的 interface contracts 所需组件得到补全。
3. 构建 repository dependency DAG，按 topological order 冻结接口并由 specialized file agents 实现模块；检查 local contracts、shape / gradient，再用 integration smoke tests 触发 critique–repair loop。
4. 执行短程训练与 multi-view rendering，结合局部 PSNR / SSIM error maps、Cross-View Artifact Consensus 和 VLM diagnosis 生成可回退 patches；达到停止条件后输出 trainable plugin。