DR-Arena: an Automated Evaluation Framework for Deep Research Agents

Idea

DR-Arena 让 Examiner 从新网页构建 Information Tree，并同时生成 deep reasoning 与 wide coverage 要求，再根据两个 Deep Research agents 的实际回答调整下一轮任务难度。评估从静态题库评分变为有来源证据、可诊断失败类型的自适应 tournament。

Research Problem

静态 research benchmark 容易受到时间错位、数据污染与能力饱和影响，open-ended report 又缺少简单 ground truth。论文研究如何自动构造可追溯 rubrics，并在模型表现接近时继续追问，找到 reasoning depth 或 information coverage 上更清晰的差距。

Insight

网页链接结构可为多跳身份推断和跨实体属性聚合提供构题支架；失败属于 depth 还是 width，可以决定下一轮增加哪类压力。Tree depth 是任务构造 proxy，并不保证唯一的最短解题路径；自动 rankings 与人类 leaderboard 的相关性也不能证明每一次 judge verdict 都正确。

Method

1. Examiner 从 Google Trends topic 选择子题与高信息量 root webpage，抓取其链接邻居，保存全文、URL、title，并给 hyperlink edges 补充语义关系；按需向深度或宽度扩展。
2. 选取 target node 生成 multi-hop identity 与 sibling-attribute aggregation 问题，避免在 query 中暴露特定文件或网页标题；同步生成 source-grounded Checklist-Depth 与 Checklist-Width。
3. 先检查 factual hard constraints，再比较 presentation、density、helpfulness 等 soft constraints；给出 Much Better、Better 或高/低质量 Tie，并标注 Depth、Width、Both、None failure。
4. Adaptive loop 对高质量 Tie 同时加深加宽，对低质量 Tie 回退 parent，对 marginal win 定向探测弱项；满足 decisive verdict、累计差距或轮次上限后停止。实验以共享的 30 棵 trees、Swiss pairing 与 BT/Elo 组织 6 个 agents 的排名比较。