IntrAgent: An LLM Agent for Content-Grounded Information Retrieval through Literature Review
Idea
IntrAgent 面向 IntraView:只根据给定 scientific paper 回答细粒度研究问题,先利用 section hierarchy 推理相关位置,再逐节提取证据并检查充分性。它将阅读过程显式分为结构定位和证据积累,避免把整篇文献压给模型或只按 chunk embedding similarity 找答案。
Research Problem
实验参数、样本定义和技术细节可能分散在多个不相邻 sections,也可能根本没有报告。普通 RAG 的表面相似匹配容易取错相关但非目标情境,全文 prompting 又被冗余信息干扰。开放 literature-search agent 的目标与这里仅忠实提取指定内容不同,可能引入外部知识或生成式补全。
Insight
论文标题层级本身携带“信息通常出现在哪里”的结构先验,LLM 可以利用它排序阅读顺序;逐条将细节锚定到原句,并在每轮检查是否充分,能让跨章节综合与缺失信息识别成为明确操作。这里的可靠性来自可追溯证据和阅读控制,而不是对论文科学结论的外部验证。
Method
- 用 MinerU 将 PDF 转成 Markdown,提取 headings,再让 LLM 恢复 parent–subsection hierarchy;删除无实际内容的冗余父节点路径,形成可对应原文 text 的 section tree。
- 给定问题和过滤后的标题集合,让 LLM 推理并输出 section relevance ranking,将全文重排为 heading/text pairs,按优先级读取而不只依赖 dense retrieval。
- 循环执行 section access、detail extraction、sufficiency check;记录术语、数值、实验设定等与原句对应的 details 到短期记忆,信息不足继续下一节,足够后用累计证据合成简洁答案。提供控制阅读量的三种 confidence styles。
- 构建五个 STEM 领域共 315 个 expert-authored instances,每域从专家熟悉文献池随机选五篇。系统生成 free-form short answer 且看不到选项,评价 LLM 将答案映射到专家设计的六选项,无法对齐则归 None of the above,最终以映射 accuracy 比较多 backbone 和 RAG/agent baselines。
Sources & Reading Scope
阅读依据:官方 PDF 正文。核读页码按 PDF 页序计数,可能与 proceedings 页码不同。
p. 1 · p. 3 · p. 4 · p. 5 · p. 6
核读章节:3 Proposed IntraView Task · 4.1 Overview of IntrAgent · 4.2 Section Ranking · 4.3 Iterative Reading · 5.1 Overview of IntraBench · 5.2 LLM-Grounded Multiple-Choice Evaluation for IntraBench · 5.3 Construction of IntraBench Dataset · 6.1 Experiment Settings
核读结构解析、证据锚定、停止检查与评价映射。sufficiency check 是 prompted LLM 判断,不能保证零 hallucination;benchmark 为 315 个问题而非 315 篇论文,free-form 系统未被提供 multiple-choice options。所读正文的 conservative style 读取较少、aggressive 较多,笔记未按日常词义反转该设置。