DREAM: Deep Research Evaluation with Agentic Metrics

Idea

DREAM 让 Deep Research 的评估也具备检索和工具能力，先独立于待评报告创建问题专属评价协议，再按指标调用普通 LLM、agent 或验证 workflow。它明确区分写作流畅、任务覆盖、推理有效、引用忠实与外部事实正确，针对“看起来像好报告”的 Mirage of Synthesis。

Research Problem

开放研究问题没有唯一参考答案，静态 rubric 与无工具 LLM judge 又难核查时效性和复杂事实。引用与原网页一致只证明 citation faithfulness，不能排除网页过时或本身错误；流畅文字还能掩盖循环论证和无依据推断，因此常规评分可能对关键质量退化不敏感。

Insight

评价者需要与被评代理相应的取证能力。可普适的写作和引用指标可固定，而必须覆盖什么事实、需要何种推理应根据查询和当前证据生成；事实真实性应独立搜索 supporting 与 contradicting evidence，避免只在报告提供的引用内循环验证。

Method

1. 用四维 taxonomy 整理 Presentation Quality、Task Compliance、Analytical Depth、Source Quality；保留 Writing Quality、Factuality、Citation Integrity 与 Domain Authoritativeness 等静态指标。
2. Protocol Creation Agent 依据 query 调用 web、ArXiv、GitHub 等工具，生成时效明确的 Key-Information Coverage yes/no checklist，以及带信息提取、外部验证和评分步骤的 Reasoning Quality plans。
3. 执行时由 LLM 评写作和 checklist 覆盖，agent 按计划核查 reasoning；workflow 抽取 claims 后以中性查询找外部证据，另将 citation attribution 与 faithfulness 的调和平均作为 Citation Integrity，并评价来源域信誉。
4. 用人工评价协议的相关性、清晰性和可验证性，再通过人为改变知识截止时间、注入推理错误及保留引用匹配的事实污染实验，检测各指标对受控退化的敏感度。