Resolving Evidence Sparsity: Agentic Context Engineering for Long-Document Understanding

Idea

SLEUTH 以 coarse-to-fine context engineering 解决长文档证据稀疏：先检索少量页面，再分别提取带位置的结构化 clues 与筛选必须保留的视觉页，最后按问题难度选择推理模式，在 evidence-dense context 上生成带出处的答案。

Research Problem

直接输入全文会让大量冗余干扰 VLM，page-level RAG 虽缩短上下文，检索页内仍有许多无关内容。单纯文本抽取会损失 table/chart/layout 线索，而增加多 Agent 推理但保持冗长输入，也未解决关键证据被稀释的输入问题。

Insight

不同信息需要不同保留形式：文本事实可蒸馏为细粒度记录，复杂图表仍应保留页面视觉。两条并行支路让原始图像可以被过滤，而其中已提取的有用文本不会随页删除。计算深度再依赖证据与问题复杂度分配，兼顾 context 精度和推理需求。

Method

1. ColPali 将 query tokens 与各页 visual embeddings 做 late-interaction MaxSim，选 top-K pages，先缩小候选范围，全流程无需训练 backbone。
2. Clue Discovery Agent 逐页定位 text lines、table cells、chart regions，记录 page、region、content、insight 与 relevance rationale，保留证据出处。Page Screening Agent 并行将视觉页标成 completely relevant、relevant 或 irrelevant。
3. 最终 context 包括所有候选页抽出的 clue records，以及筛选后保留的相关 page images。若无视觉输入或问题不可答，调整 prompt template，避免要求模型引用不存在的图像。
4. Difficulty Assessment Agent 根据 query/context 输出二值难度与策略提示，如跨页聚合或表格计算，再路由 Instruct/Thinking-type model。Core Decision Agent 综合 clues 与视觉页，输出答案及 page/evidence/source reference table。