Beyond Single-shot Writing: Deep Research Agents are Unreliable at Multi-turn Report Revision

Idea

MrDRE把Deep Research Agents的能力评估从首次生成报告扩展为多轮反馈修订，同时追踪反馈是否落实和原有内容是否被破坏。它结合coverage、citation faithfulness、claim groundedness及presentation，再通过受控content、format和self-reflection反馈观察报告随轮次的变化。

Research Problem

现有deep research benchmarks通常只评价一份最终报告，不能说明agent能否在用户要求局部改动时保住其他内容和先前修改。修订看起来响应了新要求，却可能删去已覆盖观点、降低citation质量；若只统计反馈采纳率，这些回归会被掩盖。

Insight

同一问题的固定checklist可以同时作为缺漏诊断和跨版本保留参照。从当前未覆盖项产生反馈，让改进目标明确；另统计此前已覆盖但修订后退步的项，则能揭示新增与遗失同时发生的现象，而不被总体平均分抵消。

Method

1. 从ResearchRubrics、RigorousBench和ResearcherBench挑选有专家checklist且复杂度足够的问题；LLM按每项0/0.5/1的覆盖程度加权评分，另外抽取atomic claims并抓取citation来源，检查支持、矛盾或证据不足。
2. 以有引用claims为分母计算citation faithfulness，以全部claims为分母计算groundedness，并用十项presentation checklist检查结构与表达，使内容、证据和呈现得到独立评价。
3. Content反馈从本轮未覆盖criteria中抽取k项，并根据评分理由自然化生成请求；Format反馈从21种seed中抽样并按draft适配；Self-reflection只要求自行反思修订。人工核验反馈自然度、针对性、可执行性及格式反馈的内容保留意图。
4. 以Incorporation Rate衡量目标项是否完全补齐或格式要求是否遵守，以Break Rate统计此前有覆盖但本轮下降的criteria；对五种DRA做第二轮全数据测试，并在75题Core Set上研究最多四轮和不同反馈数量。