DeepFact: Co-Evolving Benchmarks and Agents for Deep Research Factuality

Idea

DeepFact 把 Deep Research report 的 claim factuality verification 与 benchmark label auditing 一起设计：DeepFact-Eval 搜索、阅读并核查 claim，Audit-then-Score 允许 challenger 提交有证据的 label revision，由 auditor 接受后更新 benchmark，再计算成绩。

Research Problem

复杂 research claims 需要跨全文和跨来源推理，citation entailment 或 snippet matching 不足；一次性专家标注也可能出错，导致更强 verifier 被错误 gold label 惩罚。论文研究如何同时提高自动核查能力与 benchmark reliability，并保留可比较的版本化评价。

Insight

专家面对具体争议证据时的 auditing 可能比从零独立 labeling 更可靠。关键不是自动接受模型异议，而是保存 rationale、审核 revision、用 hidden micro-golds 监测质量，并冻结发布版本。该设计把 disagreement 变为改进机会，同时承认 auditor 和 challenger 都会犯错。

Method

1. 以原 report 中的 sentence 为 claim，保留整篇 context，标为 Supported、Inconclusive 或 Contradictory；通过窄范围 supported claims 与人工确认的 controlled factual perturbations 构造 hidden micro-golds，审计专家标注质量。
2. AtS 中 challenger 发现与当前 label 不符时提交 alternative verdict 和 evidence-backed rationale；auditor 比较新旧证据，仅接受更强的修订，维护 label/rationale provenance，然后针对更新后的版本评分。
3. DeepFact-Eval 根据 claim 与 report context 规划 breadth-oriented queries，检索并总结 documents，再用 targeted follow-up questions 恢复摘要可能遗漏的细节，循环至足够证据后输出 verdict 与 rationale；lite 版本联合核查共享证据的 claims。
4. 发布的 DeepFact-Bench v4 经一次 expert seed 与三轮 auditing 构建，包含 944 claims，并划分 validation/test；版本固定后比较 verifier。Micro-gold accuracy 衡量该受控审计样本上的可靠性，不代表全部自然 claims 已被绝对证明。