ReviewGrounder: Improving Review Substantiveness with Rubric-Guided, Tool-Integrated Agents

Idea

ReviewGrounder 将审稿拆成 draft、针对性 grounding 和 rubric-guided synthesis：先生成结构完整的初稿，再分别核查相关文献、方法论和实验，最后根据通用 reviewer rubrics 形成具体反馈。配套 ReviewBench 用 paper-specific checklists 衡量 substantive review quality，避免只看文字相似度或总体分数。

Research Problem

现有 LLM reviewer 容易产生模板化建议、直接接受作者 novelty claims，或给出没有表格/公式依据的批评。仅对 human reviews 做 SFT 可学到格式，却未必学到证据推理；ROUGE/BLEU 和模糊 LLM judging 又难区分表面流畅与正确、可执行的审稿意见。

Insight

高质量审稿依赖两类外部支撑：明确的审稿标准告诉模型检查什么，论文和相关工作证据告诉模型具体为何成立。将三类核查职责并行分开，再由 aggregator 合并，可以把泛泛批评改写为指向具体 claim、section、formula 或 comparison 的意见；训练初稿模型与 grounding 模型可采用不同能力规模。

Method

1. 从 DeepReview-13K 过滤出有完整论文和至少三份人评的数据，抽样约 1.3K 篇构建 ReviewBench；聚合 human reviews，并由 paper、reference review 和八类 meta-rubrics 生成可逐项验证的 paper-specific rubrics。
2. 在与 benchmark 不重合的数据上微调 Phi-4-14B Drafter，输入论文生成初始 review。Literature Searcher 由标题/摘要/related work 抽 query，通过 Semantic Scholar 检索 2023 年后的候选，rerank 取 top-10 并制作结构化 debrief。
3. Insight Miner 核查方法、贡献及 novelty，Result Analyzer 抽取 datasets、baselines、metrics、gains 和统计证据，三者使用 GPT-OSS-120B 并行补充初稿的依据与可操作建议。
4. Aggregator 接收论文、初稿、grounding outputs 与通用 meta-rubrics，纠错并整合证据。评价时固定 evaluator 和 paper-specific rubrics，对七项正向维度与一项错误 claim 惩罚评分，另用 MAE/MSE、ACC/F1 比较 rating 和 decision。