Agentic Rubrics as Contextual Verifiers for SWE Agents

Idea

Agentic Rubrics 先让 expert agent 阅读 repository 和 issue，生成针对当前代码库的 weighted checklist，再由 LLM judge 按每项 criterion 为候选 patches 评分。每个任务只生成一次 rubric，多次复用以 rerank 独立采样的 SWE-agent solutions，提供不执行候选测试的 contextual verifier。

Research Problem

执行测试是 SWE verification 的强信号，却需要环境准备且未必覆盖需求边界；直接读 patch 的 classifiers 或 generic judges 又缺乏代码库 context，难解释误判。论文研究能否通过一次 agentic repository exploration 获取具体、可检查的 criteria，在 parallel test-time scaling 中更可靠地选择 patch。

Insight

Repository grounding 将模糊的“修复正确位置”转成具体 classes、methods 和 behavioral contracts，使 rubric 更容易一致评分。多个局部 criteria 还能提供比单个 pass/fail 更细的信号，但 rubric 可能过度规定编辑位置或误解 spec。与 tests 不一致既可能暴露漏测问题，也可能是 rubric 错误；正文 utility 分析本身由 LLM 辅助判断，不能自动视为人工确认的新 bug。

Method

1. Rubric generation：在 SWE-Agent scaffold 中提供 repository 与 issue description，agent 通过文件导航、搜索和轻量 commands 收集 context，输出 rubrics.yaml；每条 criterion 带 1/2/3 importance weight。
2. 四类 criteria：File Change 检查修改范围，Spec Alignment 检查需求，Integrity 检查 test weakening 等不当变化，Runtime 推断运行行为；这些 axes 由作者预设，具体条目与权重由 rubric agent 生成。
3. Patch scoring：judge 对每项 criterion 给 binary score，以 importance-weighted average 得到 verifier score；评分阶段据此排序 candidate patches，不要求执行其 tests。
4. TTS evaluation：在 500 个 SWE-Bench Verified tasks 上为固定 generator 每题采样 16 条 trajectories，报告 Best@K；最终 resolved label 仍由 ground-truth Fail-to-Pass/Pass-to-Pass tests 判定，并消融 repository access、rubric model 与 judge model。