Can We Predict Before Executing Machine Learning Agents?

Idea

FOREAGENT 在 ML agent 的 candidate generation 与昂贵执行之间加入 Data-centric Solution Preference：给 LLM task description、Verified Data Analysis Report 和两份候选代码，先预测哪份更值得运行。通过 Predict-then-Verify loop 扩大便宜的候选探索，只执行筛选出的少量方案。

Research Problem

ML agent 每次验证 hypothesis 都可能触发长时间模型训练，使 tree search 受 execution latency 限制；而仅依据代码复杂度筛选又忽略算法与数据的适配。论文研究 LLM 是否能在不运行候选模型的情况下预测相对优劣，以及这种不完美预测如何真正节约 agent 的搜索成本。

Insight

代码本身不足以判断 ML solution，数据规模、分布与特征的语义解释能为 static preference 提供额外信息。预测器适合作为保守的前置 filter，执行反馈仍用于锚定最终选择；文中约 61.5% 的 pairwise accuracy 和实验中的 validation-test gap 都不能构成静态预测的普遍理论上限。

Method

1. 收集 AIDE、AutoMind 在 MLE-bench 26 个任务中的真实执行轨迹，经去重、专家检查和多样性筛选得到 895 个实例，构造 18,438 对 solution comparisons，并平衡 winner 位置、过滤模糊 pair。
2. 通过生成 profiling code、sandbox execution、人工有效性检查及 LLM verbalization 制作 Verified Data Analysis Report；预测器据此输出 reasoning、winner 与 confidence，无需对每个候选先进行完整训练。
3. 基于 AIDE 修改 Improvement 阶段：并行生成 10 个 candidates，使用 confidence gate 0.7 的 pairwise selection，最终对 Top-1 执行真实验证，将结果反馈给搜索树。
4. 在 5 个 AI4Science tasks、12 小时预算下与 AIDE 比较 Beat Ratio、收敛时间和搜索节点数；报告的 acceleration 属于该实验配置，不能把这一 inference-time filter 描述为已经训练出的通用 execution simulator。