AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement

自动研发 Benchmark 的高分可能来自数据选择、Hyperparameter Tuning 或更高效执行，难以隔离 Training Algorithm Design。AI4AI-Bench 研究在固定仓库与资源下，Agent 能否改变 Model 的学习方式，并通过从源码重新运行验证。

若只交出最终 Checkpoint，无法确定收益来自算法、运气或缓存状态。只允许源码进入最终验证，再从初始化执行，可以减少这种混淆。把快速 Proxy 与最终评分分开，进一步限制直接针对最终指标选择；但还要核查两者的数据是否独立。

应把候选算法从 search 过程分离，再在固定条件下重新训练并评分。本站解读：这种隔离有助于区分工程提速和学习机制的改变；两者都可能有用，但对 recursive optimization 研究回答的是不同问题。

原文给 Agent 四小时和一块 B300 修改固定研究仓库。提交后仅源码保留；八个训练任务重新训练，两个非训练任务直接执行产生模型，最终由固定评分器检查。训练任务的验证阶段上限为十二小时。这里是原文协议说明，非一周复现所需的最低资源配置。

各任务先用单调变换 φ 统一“越大越好”的方向，再分段映射：无信息模型对应 0，原算法对应 0.1，任务最优参考对应 1。原算法以上的进度占 0.9 区间。这是一项人为设计的可比坐标，不能将平均 0.2 解释成完成了 20% 的通用智能。

If φ(x) ≤ φ_b: score = 0.1·(φ(x)−φ_⊥)/(φ_b−φ_⊥)
Otherwise: score = 0.1 + 0.9·(φ(x)−φ_b)/(φ*−φ_b)

φ(x) 表示把指标方向统一后的候选表现；φ_⊥、φ_b、φ* 分别是归一化的底部、基准与目标锚点。公式把不同任务的原始指标放到共同刻度：代入 φ_b，前后两段都得到 0.1；代入 φ*，第二段得到 1。两段斜率不同，因此同样的原始指标变化可能带来不同的分数变化。解释结果时要先回到具体任务的原始指标与资源预算。这里列出主要映射，实际无效提交与边界处理应按 Benchmark 实现检查。

源码重跑与冻结评价器提高了结果可审查性。Benchmark 测的是算法设计能力；要证明 RSI，还需要把改进算法用于产生后继研究者，并测它下一轮的能力。

最脆弱的假设是任务规范能把真正算法变化与执行层捷径区分开。相同源码在固定硬件上的收益，仍可能来自特定算子或 Proxy 适配。

一次算法设计评测不包含改进后的 model 成为下一代研究者的完整闭环。固定任务与归一化尺度的选择影响汇总解释，search 预算也限制结论范围；此条目核验摘要，未审计全部提交或复现训练。