RExBench: Can coding agents autonomously implement AI research extensions?

Idea

RExBench 评测 coding agent 对已有 AI 研究提出的明确 extension 能否独立实现：输入论文、原 repo 和专家写的研究假设/测试要求，输出代码 patch，再运行新实验并与专家 gold 的数值结果比较。任务覆盖模型、数据、算法和评价修改。

Research Problem

修 bug 或复现已公开论文代码不等于实现新研究扩展；开放科学发现又难自动评分。需要保留读论文、定位代码和设计实现的自主性，同时把任务约束到可运行、可比较且没有公开完整解答的范围。

Insight

研究 extension 可作为开放研究与可验证 coding 之间的中间层：假设由人给定，但实现方案仍由 Agent 推导。最终数值与运行成功分开能暴露“代码能跑但研究问题实现错”的差距；数值接近 gold 是本 benchmark 的操作性判据，并非所有科学有效性的充分证明。

Method

1. 选择 12 个 NLP/ML 研究扩展，要求原论文关键趋势可复现、gold extension 不依赖不可持续的闭源模型调用，并能在单 A100、12 小时内完成；提供论文 PDF/Markdown、代码及固定依赖。
2. 领域专家先复现原实验，再实现 extension 和记录数值，另一作者复核；指令只提供较高层设计要求，但补齐模型标识、必要超参和可能造成随机差异的实现约束，确保任务自含。
3. gold patch 和评测脚本私有保存。Agent 提交 git patch 与日志，后台在同规格 VM 的任务专属 Apptainer 中应用 patch，控制 random seeds，限时执行并提取结果。
4. Final Success 要求确定性任务精确匹配，随机任务落在 gold 五个 seed 的均值±2标准差；另报 Execution Success 与修改文件的 File Recall，后者只衡量定位而不作为唯一正确性条件。
5. 以 aider/OpenHands 搭配六类 backbone，每题重复五次；主实验为可控运行时间禁用 Agent 的 Python 执行，完整实验由评测端运行。另增加定位提示及累计的逐步实现提示，分析自主性与人类指导的差距。