PolitNuggets: Benchmarking Agentic Discovery of Long-Tail Political Facts

Idea

PolitNuggets 让 agent 从开放 web 重建政治人物的履历与 long-tail facts，并用 FactNet 区分 event discovery、细粒度 attribute accuracy 和搜索效率。系统以 Supervisor–Searcher 分工持续收集证据，Archive 保存带来源的原始片段，最后由 Coder 转成结构化 biography，避免只靠一份压缩报告填写细节。

Research Problem

现有检索评测常只要求找到单一答案，难衡量跨来源、跨语言、跨时间的信息发现与整合。真实 biography 中很多事实不在 Wikipedia，固定 gold set 还会将正确的新发现误判为 false positive。论文研究如何评价 agent 是否找到了新事件、是否读准日期与职务，以及主动搜索相对静态长 context 带来什么收益。

Insight

发现一个 event 与准确填充它的月份、正式职务等 attributes 是两种能力，必须分层评估。Evidence-conditional judging 允许将有来源的新发现纳入 ground truth，但这个集合仍由所运行系统的 pooled evidence 建立，不能代表未知事实的完整全集。动态扩展标签和跨语言 judge 也需要审核，F1 应在共同最终 snapshot 上解释。

Method

1. 任务与条件：构建包含 200 位 Non-US cabinet politicians 和 200 位 US legislators/senators 的实体集；With-Wiki 要求验证并补全已有条目，Without-Wiki 从人物姓名出发重建时间线。
2. Agent architecture：Supervisor 维护 search summary 和 to-do list，Searcher 执行 search/browse 并保存 source-linked chunks 到 Archive；Coder 同时读取全局报告与原始证据，输出规定 JSON schema。
3. FactNet ground truth：合并多次 runs 的候选 facts，由 Judge LRM 检查其是否被该 run 的 archived evidence 支持；过滤 Wikipedia 已覆盖的事实，并对新发现动态验证，最终让各系统对共同 snapshot 评分。
4. Evaluation：Event-Level F1 检查 role、organization 与 year，Attribute-Level F1 进一步检查月份和 official title 等类型相关字段；同时统计 search steps/tokens，并将 agentic outputs 与读取相同固定 Archive 或 raw webpages 的 LRM baselines 比较。