DocLens: A Tool-Augmented Multi-Agent Framework for Long Visual Document Understanding

Idea

DocLens 把长视觉文档取证分成 page navigation 与 element localization 两个尺度：先结合整页截图和 OCR 找页，再裁出相关页的图表与表格细看。随后多次采样推理答案并由 adjudicator 汇总，以提高回答准确性和不可回答问题的识别。

Research Problem

现有 full-context VLM 和 vector retrieval 不仅漏掉证据页，即使找对页面也可能因整页缩放忽略细粒度视觉信息。缺失证据会传播为错误答案或无依据作答，因此仅扩大上下文、增加 top-k 页或只优化回答提示并未处理双层定位缺口。

Insight

文本 OCR 帮助找到语义线索，独立视觉 crop 则提升被定位元素的可读性，两者在不同尺度补充原始截图。对候选页取并集优先提高 recall，再让多条 reasoning–answer paths 交叉比较，是作者将取证覆盖率与最终答案可靠性分开处理的机制。

Method

1. Page Navigator 对所有页面 OCR，把 question、逐页 screenshot 与 text 交错输入 VLM；非零温度采样多次候选 evidence page sets，取并集，超出 context 时分块并行处理后合并。
2. Element Localizer 对预测证据页执行 layout detection，获取 figure、chart、table 的 bounding boxes 并裁切，形成 screenshot、OCR text、visual crops 三元组证据集合。
3. Answer Sampler 针对这一集合重复生成 reasoning 与 answer，通过采样温度形成多条候选推理路径，而不是直接对全量文档重复回答。
4. Adjudicator 接收候选 reasoning–answer pairs，比较其逻辑一致性并输出最终答案；在 MMLongBench-Doc 与 FinRAGBench-V 依原协议检验准确率、unanswerable 子集及视觉证据表现。