SlideAgent: Hierarchical Agentic Framework for Multi-Page Visual Document Understanding

Idea

SlideAgent 先离线式构建 query-agnostic 的 global、page、element 三层文档知识，再按问题检索和激活相应 agents。它将整份文档主题、跨页叙事和局部视觉细节连接起来，避免每个问题都直接在多页截图中重新寻找全部证据。

Research Problem

一般 MLLM 将页面当作整体，低分辨率和视觉输入数量限制使图表细节、脚注及跨页关系被忽略；纯检索又难以表达行业图示语义和空间关系。依赖 PDF 内嵌 metadata 的方法还不适用于扫描、截图或扁平化文档。

Insight

视觉文档的局部元素必须在页面功能和全局主题中解释，但不同问题需要的尺度不同。将可复用知识预先按三层建立，并在推理时选择必要尺度，能够同时保留宏观语境和细节，减少无关 agent 输出带来的成本与噪声。

Method

1. Global Agent 从前三页形成初始摘要、目的和叙事知识；Page Agent 依次结合当前页、初始全局知识和前一页描述生成 page knowledge，再以全部页知识重写全局字段，纠正早期页面偏差。
2. Element Agent 用 text/layout detection、element classification 及碎片合并获得文字、bbox、类型和页号，结合标注视觉及上层知识描述元素语义角色、用途与页面关系。
3. orchestrator 将问题归入 global、fact-based、multi-hop 或 layout/visual 类型，决定启用哪些 agents；不确定时启用全部，并生成围绕关键实体的 subqueries。
4. 以原问题和 subqueries 检索页面、元素及相应知识；各层 agents 用检索内容生成答案与解释，元素层保留 bounding-box annotations。
5. 若启用单个 agent 或多个答案匹配则直接输出，否则 synthesizer 综合各层解释和检索页视觉生成答案；实验分 end-to-end retrieval 与给定 ground-truth pages 两种设置。