What Makes AI Research Replicable? Executable Knowledge Graphs as Scientific Knowledge Representations

Idea

xKG 将论文中的技术概念、层级依赖与可执行代码模块连接为 Executable Knowledge Graph，作为可插拔知识库支持 AI research replication。代理规划时读取论文技术结构，实现时检索 technique-code pairs，将文献背景转为可直接参考的实现材料。

Research Problem

论文复现失败常源于关键细节藏在参考文献、代码和配置中，普通 RAG 的文本片段难表达跨层技术依赖，也容易忽略已有实现信号。代理即使理解总体方法，仍可能生成 dummy scaffold，或被语义相似却技术不匹配的代码误导。

Insight

科学知识若同时具有概念说明、结构关系与经执行检查的代码，其复用粒度比单篇论文或文本块更合适。可运行代码能为抽取的概念提供实际落点，但 runnable 不代表与目标技术完全匹配，因此构图和最终检索都需要相关性与可实现性过滤。

Method

1. 围绕目标论文核心技术筛选参考文献并进行技术检索，获取相关论文的 arXiv LaTeX 与官方 GitHub，去掉无官方代码及 PaperBench blacklist 中的实现，形成 paper-repository corpus。
2. 用 LLM 将方法分解为分层 Technique Nodes，并从原文检索补全定义；按定义检索仓库代码，再重组为含 implementation、test script 与 documentation 的 Code Nodes，经 self-debugging 检查可执行性。
3. 以 Structural Edges 表示技术依赖、Implementation Edges 连接技术与代码；删除无法找到相关代码的技术节点，减少过细或幻觉概念，形成 Paper/Technique/Code 三层图。
4. 在 planning 阶段提供不含代码的 Paper Node 总览，在 implementation 阶段检索技术代码对，并由最终 LLM Verifier 核查技术相关性；集成至 BasicAgent、IterativeAgent、PaperCoder，在 PaperBench Code-Dev lite 复现评分上比较。