Doc-V*: Coarse-to-Fine Interactive Visual Reasoning for Multi-Page Document VQA

Idea

Doc-V* 将 OCR-free 多页文档问答改为 coarse-to-fine 的交互式证据聚合：先看带页码的缩略图总览，再自主检索或精读指定页，并维护结构化 working memory。模型学习何时继续找证据、何时作答，而不是固定接收全部页面或一次 top-k 检索结果。

Research Problem

整本文档视觉输入成本高、受上下文限制且易出现 lost-in-the-middle；静态 visual RAG 则容易受首次检索失败影响，无法根据新证据调整查询或追踪相邻页。长文档中的布局、图表和跨页信息又使 OCR 文本化处理丢失重要线索。

Insight

低分辨率总览可以保留章节、图表位置与页码等导航线索，精细视觉 token 应按需读取。把每次页面相关性判断与增量摘要显式表达，既能缓解乱序页面造成的记忆漂移，也为训练提供证据获取质量的可计算信号。

Method

1. 预计算并缓存各页高分辨率视觉 tokens；初始只输入问题和由 256×256 缩略图组成、标注绝对页码的 grid，提供低成本全局结构先验。
2. 定义 retrieval_page、fetch_page 和 answer 三类动作：前者用 ColQwen 等检索未访问页，后者按索引精确取页；返回页码与视觉 tokens，重复请求改为文字提醒。
3. 约束每轮输出 analysis、相关页判断及 summary；首轮额外制定 plan，后续将历史 summaries 拼接为 working memory，支持跨页证据累积与下一步动作选择。
4. 先以 teacher 真实环境交互生成并筛选的 9,019 条轨迹做 SFT，仅监督代理 tokens；再以独立训练题进行 GRPO，按答案正确性、证据 recall 和结构有效性组合奖励，在有限交互步数内优化回答与检索效率。